РАЗРАБОТКА МАТЕМАТИЧЕСКОЙ МОДЕЛИ, СНИЖАЮЩЕЙ ОТРИЦАТЕЛЬНОЕ ВЛИЯНИЕ ВЗАИМНОГО СМЕЩЕНИЯ МАТРИЦ КАМЕР НА ТОЧНОСТЬ ИЗМЕРЕНИЯ РАССТОЯНИЯ ДО ОБЪЕКТА С ПОМОЩЬЮ СТЕРЕОКАМЕРЫ

АННОТАЦИЯ

В статье исследовано влияние смещения плоскости расположения матриц камер на точность измерения расстояния до объекта в системе стереокамер. Рассмотрено, как отклонение фактического положения матриц по глубине влияет на вычисление диспаратности и, как следствие, на точность определения расстояния. Предложена новая формула, учитывающая смещение плоскостей матриц. Проведены расчёты ошибок по стандартной формуле и по предложенной формуле. Результаты показали, что максимальная ошибка при стандартных расчётах достигает 12 мм, тогда как при использовании новой формулы она не превышает 1,3 мм, что значительно повышает точность стереометрических измерений

ABSTRACT

This article examines the impact of camera matrix plane offset on the accuracy of object distance measurement in a stereo camera system. It examines how the deviation in the actual matrix depth position affects disparity calculations and, consequently, distance measurement accuracy. A new formula is proposed that takes matrix plane offset into account. Error calculations are performed using both the standard formula and the proposed formula. The results show that the maximum error with standard calculations reaches 12 mm, while using the new formula it does not exceed 1.3 mm, significantly improving the accuracy of stereometric measurements.

Ключевые слова: Система со стереокамерами, параллаксное изображение, диспаратность, матрицы камер, фокусное расстояние камеры.

Keywords: Stereo camera system, parallax image, disparity, camera matrices, camera focal length.

Введения. На сегодняшний день известно множество методов измерения расстояния до объекта наблюдения. Среди них широкое распространение получил метод расчета расстояния до объекта на основе параллаксных изображений, полученных с помощью стереокамер. При использовании этого метода в процессе измерения расстояния до объекта определяется разность координат изображений объекта, сформированных в двух камерах стереокамеры, то есть уровень диспаратности. Именно в зависимости от этого уровня диспаратности и вычисляется расстояние до объекта методом геометрической триангуляции. Однако расстояние до объекта данным методом определяется не точно. Одной из причин является наличие дефектов, при которых матрицы обеих камер в системе стереокамер не лежат в одной горизонтальной плоскости, приводит к ошибке определения диспаратности между изображениями объекта, сформированными в этих матрицах. Ошибка определения диспаратности приводит к ошибке расчета расстояния, рассчитанного на основе этого параметра [1]. Материалы и методы. В реальных системах стереокамер матрицы двух камер не всегда могут лежать в одной горизонтальной плоскости. В результате координаты светочувствительных элементов матрицы, формирующих изображение наблюдаемого объекта, также определяются с погрешностью. Следует отметить, что координаты элементов обеих матриц, формирующих изображение, задаются системой камер. Поскольку программное обеспечение, записанное в электронном устройстве камеры, определяет, на каком элементе матрицы камеры формируется изображение. Поэтом первым фактором, отрицательно влияющим на точность измерения расстояния до объекта в системе стереокамер, является коэффициент вертикального сдвига по оси OY между матрицами камер (рис.1). При этом изменяются координаты светочувствительных элементов матрицы камеры справа, формирующих изображение наблюдаемого объекта, что приводит к погрешности измерения [2].

Рисунок 1. Система стереокамер с матрицами камер, смещенными на расстояние Δy вдоль вертикальной оси OY

В данном методе необходимо использовать специальный исследовательский стенд для исследования влияния относительного смещения горизонтальных плоскостей матриц камер вдоль

вертикальной оси на точность измерения расстояния до объекта. Для проведения исследования изготавливается исследовательский стенд, состоящий из следующих компонентов: микрокомпьютер Nvidia Jetson nano B01, стереокамера IMX 219-83 и плата со шкалой расстояний. При этом должна быть обеспечена возможность смещения плоскости камер вдоль вертикальной оси без изменения расстояния между оптическими центрами камер в стереопаре (база стереокамер). С помощью данного исследовательского стенда расстояние до объекта рассчитывается стандартным способом (т.е. без учета смещения плоскостей матриц стереокамеры), а погрешности рассчитываются по формуле (1), Зависимость этих параметров иллюстрируется графиком на рисунке 1:

                                                  (1)

где Z – расстояние до рассматриваемого объекта, мм:

L — база стереокамеры, мм.

f — фокусное расстояние камер, мм.

∆y — взаимное смещение матриц камер, мм.

w_ₓ — масштабный коэффициент преобразования пиксельных координат по оси X в метрические координаты (физический размер пикселя по оси X), мм/пикс.;

a₁ — координата ячейки на матрице левой камеры, где сформировалось изображение, мм.

a₂ — координата ячейки на матрице правой камеры, где сформировалось изображение, мм.

То есть, увеличение Δy, представляющей собой смещение матрицы камеры вправо в положительном направлении OY, приводит к уменьшению значения координаты фоточувствительного элемента x2, в котором формируется изображение объекта на матрице камеры. В результате увеличивается значение расчётного расстояния. Следовательно, увеличивается и разница между расчётным и реальным расстоянием, то есть увеличивается значение погрешности измерения ΔZ. Зависимость величины погрешности измерения ΔZ от Δy представлена на следующем графике (рисунок 2) [3].

Рисунок 2. График зависимости погрешности определения расстояния с помощью стереокамеры от величины смещения матрица камеры, вдоль вертикальной оси OY

На представленном выше графике (рисунок 1) зависимость погрешности ΔZ измерения расстояния до объекта стереокамерой от величины сдвига матрицы камеры Δy показывает, что чем больше величина взаимного сдвига Δy плоскостей, на которых расположены матрицы, тем больше величина погрешности измерения ΔZ.

На основе экспериментальных исследований, результаты которых представлены выше, подтверждено, что матрицы камер стереокамер не расположены в одной горизонтальной плоскости, то есть имеют относительное смещение вдоль оси OY, что вносит существенный вклад в погрешность

измерения расстояния до наблюдаемого объекта с помощью стереокамеры. Поэтому необходима разработка эффективных решений для измерения расстояния до наблюдаемого объекта в стереокамере с учетом вертикального смещения камер.

В системе стереокамер при смещении одной из матриц камер относительно другой на расстояние Δy вдоль вертикальной оси OY необходимо разработать математическую модель, вычисляющую расстояние до объекта наблюдения с учетом этого взаимного смещения камер Δy. Для этого необходимо описать формирование изображений матрицами стереокамер с таким смещением (рисунок 3).

В системе, представленной на рисунке 3 ниже, расстояние до наблюдаемого объекта Z снова вычисляется на основе подобия треугольников ABC и ADE. Однако следует отметить, что координата светочувствительного элемента матрицы правой камеры, где формируется изображение наблюдаемого объекта, теперь изменилась. То есть изображение формируется на светочувствительном элементе с координатой x₂. Также для выполнения расчета методом триангуляции необходимо продолжить прямую, проведенную от объекта к точке x2, до точки пересечения С с горизонталью, на которой лежит левая камера. Только в этом случае будут образованы подобные треугольники ABC и ADE. Исходя из этого, можно записать следующее уравнение (2):

Рисунок 3. Формирование изображения в системе стереокамер с матрицами камер, смещенными на расстояние Δy вдоль вертикальной оси OY:

 (a_₁, a_₂ — координаты светочувствительных элементов матриц левой и правой камер соответственно, на которых формируются изображения наблюдаемого объекта, пикс.; n_₁ = l/2 − a_₁ - расстояние от центра матрицы левой камеры до точки формирования изображения объекта; n₂ = a_₂^¹ − l/2 — расстояние от центра матрицы правой камеры до точки формирования изображения объекта; R — расстояние между перспективным центром левой камеры и точкой пересечения луча, проходящего через пиксель a_₁, с горизонтальной плоскостью расположения камер, мм; K — эффективное расстояние между перспективным центром правой камеры и аналогичной точкой пересечения, учитывающее смещения n_₁, n_₂ и вертикальное смещение Δy, мм; w_ₓ — масштабный коэффициент преобразования пиксельных координат по оси X в метрические координаты (физический размер пикселя по оси X), мм/пикс.; x_₁ и x_₂ — пиксельные координаты точек формирования изображений объекта на левой и правой матрицах соответственно, пикс.; x_₂^¹ — координата фото чуствительного элемента правой матрицы после учёта вертикального смещения Δy, пикс.; Z — расстояние до наблюдаемого объекта, определяемое стереокамерой, мм; ΔZ — погрешность измерения расстояния до объекта, мм; Δy — вертикальное смещение матрицы правой камеры относительно матрицы левой камеры вдоль оси OY, мм; α — угол наклона направления на объект, возникающий вследствие вертикального смещения матриц камер, рад; tanα — отношение вертикального смещения Δy к расстоянию m до точки пересечения лучей, используемое для вывода тригонометрических зависимостей).

Здесь:

R=L+m₁    и  K= n₁+L+ n₂+ m₂

n₁ = l/2- a₁   и  n₂  =   - l/2                                                           (3)

А если 

тогда:

                                                                 (4)

 Подстановка уравнений (3) и (4) выше в уравнение (2) дает:

 Из этого уравнения формируется:

                                                  (5)

Если:

тогда получается:

                                                             (6)

Если подставить m, найденное с помощью уравнения (6), в математическое выражение (5):

Таким образом, при смещении одной из матриц камер в системе стереокамер относительно другой на расстояние Δy вдоль вертикальной оси OY расчетная формула для измерения расстояния до наблюдаемого объекта с учетом

этого взаимного смещения Δy камер имеет вид:

                                                     (7)

Здесь:

L — база стереокамеры, мм.
f — фокусное расстояние камер, мм.
∆y — взаимное смещение матриц камер, мм.
a₂¹ — координата ячейки на матрице правой камеры, где сформировалось изображение, мм.
a₁ — координата ячейки на матрице левой камеры, где сформировалось изображение, мм.
l — размер матрицы камеры, мм. 

Результаты и обсуждение. Теперь эксперимент, результаты которого описаны выше, повторяется на основе разработанной формулы (7). Это позволяет оценить точность разработанной формулы. Поэтому в эксперименте формула (7) используется в алгоритме измерения расстояния до наблюдаемого объекта. Таблица зависимости погрешности измерения расстояния до наблюдаемого объекта от величины смещения матрицы камеры Δy приведена ниже (таблица 1).

Таблица 1.

Зависимость величины погрешности измерения от величины сдвига правой матрицы при расчете по разработанной формуле

На основании данных, представленных в таблице выше,  можно построить график зависимости величины погрешности измерения расстояния ΔZ от величины сдвига матрицы  камеры Δy. Этот график иллюстрирует, как изменяется величина погрешности измерения расстояния ΔZ с увеличением величины сдвига матрицы камеры Δy.

Рисунок 4. График зависимости погрешности определения расстояния стереокамерой от величины Δy – смещения плоскости, на которой расположена матрица камеры, вдоль вертикальной оси OY

График зависимости погрешности определения расстояния от смещения плоскости расположения матрицы камеры Δy вдоль вертикальной оси, представленный на рисунке 4, показывает, что при применении формулы (6) для вычисления расстояния до наблюдаемого объекта снижается величина погрешности измерения расстояния, по сравнению с величиной, полученной по стандартной формуле (см.рис.2).  Из графика видно, что даже при значении смещения матрицы камеры Δy, равном 0, имеется погрешность измерения, равная 0,68 мм. При Δy=10 мм погрешность равна 0. В дальнейшем при увеличении Δy до 22 мм погрешность измерения не увеличивается.

Заключение. В результате проведённого исследования предложена формула для расчета расстояние до наблюдаемого объекта с высокой точностью даже в случаях, когда плоскости расположения матриц стереокамер не лежат в одной горизонтальной плоскости. Данная формула может быть положена в основу алгоритма расстояния стереокамерой для разработки соответствующего программного средства.

Список литературы:

1. Козлов В.Л. Учет влияния дестабилизирующих факторов для повышения точности измерений дальномера на основе стереоизображений. Приборы и методы измерений. 2017. – Т. 8, № 3. С. 254–262. DOI: 10.21122/2220-9506-2017-8-3-254-262
2. Xamdamov Utkirbek, Turgunov Bekzod. Paralaks tasvirlar asosida kuzatuvdagi ob'ektgacha masofani oʻlchash aniqligiga ta'sir qiluvchi omillar va ularni ta'sirini kamaytirish choralari. Management and Future Technologies Ilmiy jurnal Volume 2, Issue 1. 31/03/2025.
3. Utkir  Khamdamov, Bekzod Turgunov. “Optimal solutions for determining the distance to an object in an autonomous mobile device for people with disabilities” in International scientific - practical conference of  Digital transformation and artificial intelligence: problems, innovations and trends (DTAI), Tashkent, (2024), 70-74 pg. https://dtai.tsue.uz/index.php/DTAI2024/article/view/hamdam
4. Hartley, R.I. Theory and practice of projective rectification / R.I. Hartley // International Journal of Computer Vision. – 1999. – Vol. 35, no. 2. – P. 115–127.
5. D. N. Stepanov, A. V. Smirnov, Issledovanie prosessa kalibrovki i opticheskix xarakteristik stereo nasadki 3Dberry, Programmnie sistemi: teoriya i prilojeniya, 2018, tom 9, vipusk 3, 11–28 DOI: 10.25209/2079-3316-2018-9-3-11-28
6. Aleman-Flores, M. Automatic Lens Distortion Correction Using One-Parameter Division Models / M.AlemánFlores, L. Alvarez, L. Gomez, D. Santana-Cedres // Image Processing On Line. - 2014. - Vol. 4. - P. 327-343., doi: 10.1007/s10851-012-0342-2.