ПОДГОТОВКА НАБОРОВ ДАННЫХ ДЛЯ ОБУЧЕНИЯ НЕЙРОСЕТЕВОЙ СИСТЕМЫ ИДЕНТИФИКАЦИИ ЛИЧНОСТИ ПО РУКОПИСНОЙ ПОДПИСИ

АННОТАЦИЯ

Рассмотрено решение задачи автоматизации создания наборов рукописных подписей, которые необходимы для обучения и тестирования нейросетевой системы идентификации личности. Предложен алгоритм и описаны его основные этапы. Приведены результаты его реализации средствами MATLAB.

ABSTRACT

The solution of the problem of automating the creation of sets of handwritten signatures, which are necessary for training and testing a neural network system of personal identification, is considered. An algorithm is proposed and its main stages are described. The results of its implementation using MATLAB are presented.

Ключевые слова: биометрическая идентификация, рукописная подпись, нейронная сеть, обработка изображений, распознавание изображений, образ, дескрипторы, MATLAB.

Keywords: biometric identification, hand-written signature, neural network, image processing, image recognition, pattern, descriptors, MATLAB.

Введение

Рукописная подпись является одним из биометрических признаков личности, которая используется для создания простых нейросетевых систем идентификации физических лиц. Такие системы представляют собой систему распознавания изображений подписей. Использование в качестве входного образа растрового изображения подписи зачастую приводит к неоправданному усложнению нейронной сети. Например, если размер изображения подписи равен 64x128 px, то нейронная сеть должна иметь 8192 входа. Поэтому целесообразно на основе исходного изображения подписи сформировать вектор её признаков, который можно использовать в качестве входного образа – дескриптора [3].

Для формирования образа выполняются следующие шаги:

1) Преобразование полутонового изображения подписи в бинарное (подпись является объектом переднего плана);

2) Нормировка размеров изображения подписи к единым значениям, например 64x128 рх;

3) Разделение нормированного изображения подписи на фрагменты размером 8x8 рх. Для подписи размером 64x128 рх число таких фрагментов будет 128;

4) Подсчёт пикселей переднего плана (количества белых пикселей) для каждого фрагмента и сохранение их в матрицу размером 8х16;

5) Преобразование полученной матрицы в вектор  размером 128x1 из нормированного количества пикселей переднего плана в каждом фрагменте. Этот вектор-столбец будет использоваться в качестве образа подписи (дескриптора).

На рисунке 1 приведены полутоновое и бинарное изображения подписи. Бинарное изображение, разделенное на фрагменты и матрица с элементами, значения которых пропорциональны числу пикселей переднего плана в каждом фрагменте, показаны на рисунке 2.

Рисунок 1. Полутоновое и бинарное изображения подписи

Рисунок 2. Изображение подписи разделенное на фрагменты и образ подписи в виде матрицы размером 8х16

Для обучения и тестирования нейронной сети требуется 3 набора образов подписей для каждого физического лица, зарегистрированного в системе:

• оригинальные подписи;
• поддельные подписи;
• тестовые подписи.

Каждый из наборов должен включать несколько десятков образов, формирование которых описано выше.

Очевидно, что процессу формирования образов предшествует этап сбора подписей, принадлежащих физическим лицам, зарегистрированным в системе идентификации. Первоначально, подписи выполняются физическим лицом на листах бумаги в стандартных условиях. Количество экземпляров таких подписей должно быть не менее 100. Далее листы с образцами подписей сканируются и сохраняются в формате изображений. Фрагмент такого изображения показан на рисунке 3.

Рисунок 3. Фрагмент изображения  с образцами подписей

Дальнейшая задача – формирование изображений, каждое из которых должно содержать один экземпляр подписи, и сохранение их в каталог физического лица. При этом изображения должны быть бинарными, а их пиксельные размеры одинаковыми, например, 64x128 px. С учетом необходимого количества экземпляров подписей формирование таких наборов является весьма трудоемким процессом, который желательно автоматизировать.

На первый взгляд задача сводится к обнаружению и локализации подписи (объекта интереса) как связного объекта переднего плана и легко решается методами обработки изображений [1]. Пример обнаруженных подписей приведен на рисунке 4, а на рисунке 5 показаны три экземпляра подписей из формируемого набора.

Рисунок 4. Обнаруженные объекты интереса

Рисунок 5. Экземпляры обнаруженных подписей

Однако задача усложняется, если экземпляры подписей имеют разрывы, обусловленные индивидуальными особенностями или случайно возникающими при написании, например, как на рисунке 6. В этом случае связность объектов интереса будет нарушена, а для их правильного выделения необходима дополнительная обработка.

Рисунок 6. Пример подписей с разрывами

Для решения этой задачи разработан алгоритм и программа, которые описываются ниже.

Алгоритм формирования набора подписей

Алгоритм получает исходное монохромное изображение листа с множеством экземпляров рукописной подписи, а результатом его работы является набор экземпляров этой подписи в виде раздельных изображений и пронумерованных файлов, помещенных в каталог.

Основная идея алгоритма, основана на следующих предположениях:

• объект переднего плана является подписью, если наименьший охватывающий его прямоугольник (BoundingBox) расположен на значительном расстоянии от других;
• объекты переднего плана объединяются в подпись, если охватывающие прямоугольники имеют общие элементы;
• объекты переднего плана объединяются в подпись, если охватывающие прямоугольники расположены на малом расстоянии друг от друга.

Структурная схема алгоритма состоит из 8 основных этапов и показана на рисунке 7.

Рисунок 7. Алгоритм формирования набора подписей

Рассмотрим основные этапы алгоритма, реализованного средствами MATLAB [2], более подробно.

Этап 1. Предобработка сводится к стандартным операциям повышения контраста исходного монохромного изображения I0N и очистки его от шумов в виде мелких объектов:

Этап 2. Поскольку исходные изображения могут иметь неравномерный фон, для бинаризации целесообразно использовать метод адаптивной бинаризации по локально вычисляемому порогу TR1. Это можно реализовать последовательностью двух команд

Этап 3. Поиск объектов переднего плана и вычисление их дескрипторов выполняется следующим образом: полученное ранее бинарное изображение I0bw используется для создания матрицы меток L, размер которой совпадает с размером бинарного изображения. Каждый элемент этой матрицы, положение которого совпадает с объектом переднего плана, помечается числовым индексом. Полученная матрица меток используется для вычисления трех характеристик (дескрипторов) обнаруженных объектов, которые сохраняются в массив структур D:

BoundingBox (ограничивающий прямоугольник) – определяет наименьший прямоугольник, в который входит обнаруженный объект. Вычисляется в виде вектора из четырех элементов [c, r, width,height], где (c,r) – координаты верхнего левого угла, width – ширина, height – высота ограничивающего прямоугольника.

Area  (площадь) – определяет площадь бинарной области переднего плана и вычисляется как число пикселей, которые в  ней содержатся.

Image (изображение) – логическая матрица с размерами 'BoundingBox' в которой элементы принадлежащие объекту имеют значения "1", а принадлежащие фону – "0".

Этап 4. Формирование первичной бинарной маски для объектов переднего плана организуется цикл вычислений: каждый из обнаруженных объектов, помещенных в структуру D анализируется по площади. Для объектов с  площадью более 5 px вычисляются дескрипторы 'BoundingBox', которые используются для формирования первичной бинарной маски всех объектов переднего плана. Бинарная маска представляет собой логическую матрицу mask с размерами совпадающими с размерами бинарного изображения подписей I0bw, в которой элементы входящие в 'BoundingBox' имеют значение '1', а оставшиеся – значение '0'. Этап реализуется приведенными ниже командами.

Результат выполнения описанного этапа приведен на рисунках 8 и 9. Из рисунка 8 видно, что охватывающие прямоугольники 'BoundingBox', принадлежащие отдельным элементам подписи и имеющие общие элементы объединены в маску, покрывающую каждый экземпляр подписи.

Рисунок 8. Обнаруженные объекты переднего плана и корректно сформированная бинарная маска

В другом случае, показанном на рисунке 9, некоторые элементы подписи в прямоугольниках 'BoundingBox' не имеют общих элементов, что препятствует формированию правильной маски.

Рисунок 9. Обнаруженные объекты переднего плана и сформированная бинарная маска. Маска слева и в центре сформирована некорректно

Этап 5. На этом этапе производится формирование финальной маски путем слияния близко расположенных элементов первичной бинарной маски. Это позволяет устранить ошибки, возникающие на предыдущем этапе алгоритма. Он реализован последовательным выполнением двух морфологических операций:

• дилатации изображения бинарной маски mask по прямоугольному примитиву se

 .

Эта операция приводит к расширению элементов маски и устранению разрывов не превышающих размер примитива se.

• эрозии  расширенного изображения маски mask_2 по тому же примитиву se

 .

Это приводит к восстановлению размеров расширенного изображения маски, при этом заполненные разрывы сохранятся. Последовательность описанных команд и результат их работы представлены ниже.

Рисунок 10. Первичная бинарная маска (сверху). Финальная бинарная маска после слияния близко расположенных элементов (снизу)

Этап 6, 7, 8. Полученная в результате матрица финальной маски mask_3 позволяет выделить на бинарном изображении все элементы подписи и сохранить их в специально созданную структуру S_m с двумя полями:

• S_m.SImage – для хранения оригинальных экземпляров изображений подписей;
• S_m.SGImage – для хранения нормированных по пиксельным размерам экземпляров подписей.

Эти этапы реализуются следующей последовательностью команд:

Две заключительные команды приведенного фрагмента выполняют сохранение экземпляров подписей в отдельные файлы каталога User_1. Результат работы в виде нормированных экземпляров изображений подписи, хранящихся в файлах, приведен на рисунке 11.

Рисунок 11. Нормированные экземпляры изображений подписи

Заключение

Разработанный алгоритм и реализующая его программа, описанные выше, позволяют автоматизировать трудоемкий процесс формирования наборов рукописных подписей физических лиц, которые необходимы для обучения и тестирования нейросетевой системы идентификации личности. Каждый из трех необходимых наборов (оригинальных, поддельных и тестовых подписей) формируется аналогично описанному выше и могут использоваться для создания не только нейронных сетей на многослойных персептронах, но и для сверточных нейронных сетей.

Практическое использование описанного алгоритма для создания нейросетевой системы идентификации личности показало его эффективность.

Список литературы:

1. Гонсалес Р., Вудс Р. Цифровая обработка изображений. – М.: Техносфера, 2012. – 1104 с.
2. Гонсалес Р., Вудс Р., Эддинс С. Цифровая обработка изображений в среде MATLAB. – М.: Техносфера, 2006. – 616 с.
3. Куляс О.Л. Нейросетевая идентификация физических лиц по рукописной подписи // Проблемы техники и технологии телекоммуникаций. Оптические технологии в телекоммуникациях. Материалы XX Международной научно-технической конференции, XVI Международной научно-технической конференции. В 2-х томах. 2018. –  Уфа: УГАТУ, 2018 – С.337–338.