Глубокое понимание принципов 3D-визуальной визуализации

3D-визуализация — один из важнейших методов восприятия информации промышленными роботами, который можно разделить на оптические и неоптические методы визуализации. В настоящее время наиболее используемые оптические методы, в том числе: времяпролетный метод, метод структурированного света, метод лазерного сканирования, метод муаровых полос, метод лазерных спеклов, интерферометрия, фотограмметрия, метод лазерного слежения, форма из движения, форма из тени, и другие ShapefromX. В данной статье представлены несколько типичных схем.

1. Времяпролетное 3D-изображение

Каждый пиксель времяпролетной камеры (TOF) использует разницу во времени прохождения света для определения глубины объекта.

В классическом методе измерения TOF система детекторов запускает блок обнаружения и приема в момент испускания оптического импульса. Когда детектор получает оптическое эхо-сигнал от цели, он напрямую сохраняет время прохождения сигнала туда и обратно.

D-TOF, также известный как Direct TOF (DTOF), обычно используется в системах одноточечного измерения дальности, где часто требуется технология сканирования для получения трехмерного изображения по всей территории.

Технология 3D-изображения TOF без сканирования не была реализована до последних лет, поскольку очень сложно реализовать субнаносекундную электронную синхронизацию на уровне пикселей.

Альтернативой D-TOF с прямой синхронизацией является косвенный TOF (I-TOF), в котором время прохождения туда и обратно косвенно экстраполируется на основе временных измерений интенсивности света. I-TOF не требует точной синхронизации, вместо этого используются счетчики фотонов с временной регулировкой или интеграторы заряда, которые могут быть реализованы на уровне пикселей. I-TOF — это современное коммерческое решение для электронных и оптических микшеров на базе TOF-камер.

TOF-изображение можно использовать для получения 3D-изображений с большим полем зрения, на большие расстояния, с низкой точностью и низкой стоимостью. Его характеристики: высокая скорость обнаружения, большое поле зрения, большое рабочее расстояние, низкая цена, но низкая точность, на него легко влияет окружающий свет.

2. Сканирование для получения 3D-изображений

Методы сканирования 3D-изображений можно разделить на сканирование дальности, активную триангуляцию, дисперсионный конфокальный метод и так далее. Фактически, дисперсионный конфокальный метод представляет собой метод сканирования и определения дальности, учитывая, что он в настоящее время широко используется в обрабатывающей промышленности, такой как мобильные телефоны и плоские дисплеи, здесь он представлен отдельно.

1. Сканирование и определение дальности

Измерение расстояния сканирования заключается в использовании коллимированного луча для сканирования всей поверхности цели посредством одномерного измерения расстояния для достижения трехмерного измерения. Типичными методами сканирования дальности являются:

1, метод времени полета одной точки, такой как дальность с непрерывной частотной модуляцией (FM-CW), импульсная дальность (LiDAR) и т. д.;

2, интерферометрия лазерного рассеяния, такая как интерферометры, основанные на принципах многоволновой интерференции, голографической интерференции, интерференции белого света, спекл-интерференции и т. д.

3, конфокальный метод, такой как дисперсионный конфокальный, самофокусирующийся и т. д.

В трехмерном методе сканирования диапазона одной точки метод времени полета одной точки подходит для сканирования на большие расстояния, а точность измерения низкая, обычно порядка миллиметров. Другими методами одноточечного сканирования являются: одноточечная лазерная интерферометрия, конфокальный метод и метод одноточечной лазерной активной триангуляции, точность измерения выше, но первый имеет высокие экологические требования; Точность линейного сканирования умеренная, высокая эффективность. Метод активной лазерной триангуляции и дисперсионный конфокальный метод больше подходят для выполнения трехмерных измерений на конце роботизированной руки.

2. Активная триангуляция

Метод активной триангуляции основан на принципе триангуляции с использованием коллимированных лучей, одного или нескольких плоских лучей для сканирования целевой поверхности для завершения трехмерного измерения.

Луч обычно получают следующими способами: лазерная коллимация, цилиндрическое или квадратично-цилиндрическое угловое расширение луча, некогерентный свет (например, белый свет, светодиодный источник света) через отверстие, щелевая (решетчатая) проекция или дифракция когерентного света.

Активную триангуляцию можно разделить на три типа: сканирование по одной точке, сканирование по одной строке и многострочное сканирование. Большинство продуктов, которые в настоящее время продаются для использования в роботизированных манипуляторах, представляют собой одноточечные и однолинейные сканеры.

В методе многострочного сканирования трудно надежно идентифицировать число полюсов полосы. Чтобы точно идентифицировать номера полос, обычно используется высокоскоростное попеременное изображение двух наборов вертикальных оптических плоскостей, что также может реализовать сканирование «летающей триангуляции». Процесс сканирования и трехмерной реконструкции показан на следующем рисунке. Разреженное трехмерное изображение создается с помощью многострочного проекционного стробоскопического изображения, а несколько последовательностей трехмерных изображений создаются путем сканирования продольных и горизонтальных полосовых проекций. Затем путем сопоставления трехмерных изображений создается полная и компактная трехмерная модель поверхности с высоким разрешением.

3. Дисперсионный конфокальный метод.

Дисперсионный конфокальный метод, по-видимому, способен сканировать и измерять шероховатые и гладкие непрозрачные и прозрачные объекты, такие как отражающие зеркала, прозрачные стеклянные поверхности и т. д., и в настоящее время широко популярен в области трехмерного обнаружения крышек мобильных телефонов.

Существует три типа дисперсионного конфокального сканирования: одноточечное одномерное сканирование с абсолютным диапазоном, многоточечное матричное сканирование и непрерывное линейное сканирование. На следующем рисунке показаны два типа примеров абсолютного диапазона и непрерывного линейного сканирования соответственно. Среди них непрерывное построчное сканирование также является сканированием массива, но решетка массива больше и плотнее.

Среди коммерческих продуктов наиболее известным сканирующим спектральным конфокальным датчиком является французский датчик STILMPLS180, который использует 180 точек массива для формирования линии с максимальной длиной линии 4,039 мм (точка измерения 23,5 вечера, расстояние между точками 22,5 часа). Еще один продукт – финская компания FOCALSPECUULA. Применяется техника дисперсионного конфокального треугольника.

3. 3D-изображение со структурированной световой проекцией.

3D-изображение проекции структурированного света в настоящее время является основным способом визуального восприятия 3D-изображения робота, система структурированного светового изображения состоит из нескольких проекторов и камер, обычно используемые структурные формы: один проектор-одна камера, один проектор-двойная камера, один проектор-несколько камер. камера, одиночная камера – двойной проектор и одиночная камера – несколько проекторов и другие типичные конструктивные формы.

Основной принцип работы 3D-изображения проекции структурированного света заключается в том, что проекторы проецируют определенные шаблоны структурированного света на целевые объекты, а изображения, модулированные целью, захватываются камерой, а затем трехмерная информация о целевом объекте получается через изображение. обработка и визуальная модель.

Обычно используемые проекторы в основном делятся на следующие типы: жидкокристаллические проекции (ЖК-дисплеи), проекции с цифровой модуляцией света (DLP: такие как цифровые микрозеркальные устройства (DMD)), прямая проекция лазерных светодиодов.

В зависимости от количества структурированных световых проекций трехмерное изображение структурированной световой проекции можно разделить на методы с одной проекцией 3D и 3D с несколькими проекциями.

1. Однопроекционная визуализация

Структурированный свет с одной проекцией в основном реализуется посредством кодирования с пространственным мультиплексированием и кодирования с частотным мультиплексированием. Распространенными формами кодирования являются цветовое кодирование, индекс серого, кодирование геометрической формы и случайные пятна.

В настоящее время при применении роботизированной системы «рука-глаз» в случаях, когда точность 3D-измерений невысока, например, при укладке на поддоны, распаковке поддонов, 3D-захвате и т. д., более популярно проецировать псевдослучайные точки для получения Трехмерная информация о цели. Принцип 3D-изображения показан на следующем рисунке.

2. Многопроекционная визуализация

Многопроекционный 3D-метод в основном реализуется путем кодирования с временным мультиплексированием. Обычно используемыми формами шаблонного кодирования являются: двоичное кодирование, многочастотное кодирование с фазовым сдвигом τ35 и смешанное кодирование (например, код Грея с десятифазовыми полосами).

Основной принцип создания 3D-изображений в виде полосовой проекции показан на рисунке ниже. Структурированные световые узоры генерируются компьютером или специальным оптическим устройством, которые проецируются на поверхность измеряемого объекта через оптическую проекционную систему, а затем для сбора изображений используются устройства получения изображений (такие как камеры CCD или CMOS). деформированные структурированные световые изображения, модулированные поверхностью объекта. Алгоритм обработки изображения используется для расчета соответствующей взаимосвязи между каждым пикселем изображения и точкой на контуре объекта. Наконец, с помощью модели структуры системы и технологии калибровки рассчитывается трехмерная информация о контуре измеряемого объекта.

В практических приложениях часто используется технология проекции кода Грея, проекции синусоидальной полосы с фазовым сдвигом или 3D-технологии синусоидальной смешанной проекции с синусоидальным фазовым сдвигом кода Грея десять.

3. Изображение отклонения

В случае шероховатой поверхности структурированный свет можно проецировать непосредственно на поверхность объекта для визуального измерения. Однако для 3D-измерений гладких поверхностей с большим коэффициентом отражения и зеркальных объектов проекцию структурированного света нельзя напрямую проецировать на измеряемую поверхность, а для 3D-измерений также требуется использование технологии отклонения зеркала, как показано на следующем рисунке.

В этой схеме полосы проецируются не непосредственно на измеряемый контур, а на рассеивающий экран, либо вместо рассеивающего экрана используется ЖК-экран для непосредственного отображения полос. Камера отслеживает путь света через яркую поверхность, получает информацию о полосах, модулированную изменением кривизны яркой поверхности, а затем рассчитывает трехмерный профиль.

4. Стереовидение, 3D визуализация.

Стереовидение буквально относится к восприятию трехмерной структуры одним или обоими глазами и обычно относится к реконструкции трехмерной структуры или информации о глубине целевого объекта путем получения двух или более изображений с разных точек зрения.

Визуальные сигналы восприятия глубины можно разделить на окулярные и бинокулярные (бинокулярный параллакс). В настоящее время стереоскопическое 3D может быть достигнуто с помощью монокулярного зрения, бинокулярного зрения, мультиокулярного зрения, трехмерной визуализации светового поля (электронный сложный глаз или матричная камера).

1. Монокулярная визуализация

Сигналы монокулярного восприятия глубины обычно включают перспективу, разницу фокусных расстояний, мультивидение, охват, тень, параллакс движения и т. д. В зрении робота также можно использовать зеркало 1 и другие формы из X10 и другие методы для достижения.

2. Бинокулярная визуализация зрения

Визуальными признаками бинокулярного восприятия глубины являются: положение конвергенции глаз и бинокулярный параллакс. В машинном зрении две камеры используются для получения двух изображений обзора из двух точек обзора одной и той же целевой сцены, а затем рассчитывается параллакс одной и той же точки в двух изображениях обзора для получения трехмерной информации о глубине целевой сцены. Типичный процесс расчета бинокулярного стереозрения состоит из следующих четырех этапов: коррекция искажений изображения, коррекция пары стереоизображений, регистрация изображения и расчет карты параллакса с триангуляционным перепроецированием.