О ПОИСКЕ ЗАКОНОМЕРНОСТЕЙ ПО БАЗЕ ДАННЫХ ПОДВИДОВ ТЮЛЬПАНОВ ИЗ КРАСНОЙ КНИГИ

АННОТАЦИЯ

Рассматривается поиск скрытых закономерностей по базе данных методами интеллектуального анализа. Методика поиска основывается на выдвижении ряда гипотез и доказательства их истинности методами кластерного анализа и классификации. При делении объектов на классы применялись их значения плотности распределения по локальным областям. Граница между двумя классами определялась по медианному значению плотности. Для анализа предложено использовать линейный и нелинейный методы вычисления обобщённых оценок с целью формирования латентного признакового пространства. Синтез латентных признаков из исходных основывался на свойствах функции принадлежности к нечётким множествам. Лучшие показатели точности распознавания получены по латентному признаку, сформированному жадным алгоритмом нелинейного метода.

ABSTRACT

This study explores the discovery of hidden patterns in a database using data mining methods. The methodology for pattern discovery is based on formulating a series of hypotheses and validating them through clustering and classification techniques. When dividing objects into classes, their density distribution values across local regions were utilized. The boundary between two classes was determined based on the median density value. For the analysis, linear and nonlinear methods for calculating generalized estimates are proposed to form a latent feature space. The synthesis of latent features from the original data was based on the properties of membership functions in fuzzy sets. The best recognition accuracy was achieved using a latent feature generated by a greedy algorithm within the nonlinear method.

Ключевые слова: плотность распределения, обобщенные оценки, кластерный анализ, классификация объектов, латентные признаки

Keywords: Density distribution, generalized estimates, cluster analysis, classification of objects, latent features

Введение

Особенности построения предлагаемой модели связаны с ограниченным объёмом информации об анализируемых данных. Традиционным способом в таких случаях является использование разведочного анализа данных. Получить дополнительные сведения можно через проверку плотности распределения в локальных областях признакового пространства и применения естественной классификации объектов по градациям номинальных признаков.

Более сложным вариантом для поиска закономерностей являются вычислительные эксперименты по классификации на основе количественных показателей объектов. В качестве таких показателей предлагается использовать значения плотности распределения объектов. Проблема вычисления значений плотности в первую очередь связана с выбором локальных областей признакового пространства. Возможности выбора ограничены заданием значением числа k ближайших соседей, радиуса ε локальной области или совместным использованием k и ε в алгоритме DBSCAN [1]. Другой проблемой является обоснование принципа разбиения объектов на классы. Для исследования интерес представляет число классов и отбор объектов в них.

Статус объектов достижимый, граничный и выброс в алгоритме DBSCAN рассматривается в качестве ценной информации для классификации. Альтернативным вариантом являются такие статистические показатели как математическое ожидания значения плотности или медиана, полученные по локальным областям в форме гипершара с фиксированным радиусам. Краткий перечень дополнительных знаний или скрытых закономерностей, которые можно получить через классификацию такой:

• граничные объекты классов для анализа конфигурации групп;
• шумовые объекты классов как нетипичные представители групп;
• эталонные объекты для вычисления размеров групп;
• наборы информативных разнотипных признаков.

Предмет исследования

Целью работы было формирование информационной модели, основанной на знаниях. Выбор методов для моделирования связан с особенностями представления набора (выборки) данных из 52 объектов (подвидов тюльпанов), в котором каждый объект представлен вектором из 27 номинальных признаков. Выборка данных сформирована на биологическом факультете Наманганского государственного университета. Названия подвидов тюльпанов и набор признаков Х(27) = (х₁,…, х₂₇) для их описания приводится в табл. 1 и табл. 2.

Таблица 1.

Названия подвидов тюльпанов

Таблица 2.

Набор признаков

Поиск скрытых закономерностей в данных проводился в форме выдвижения и проверки гипотез алгоритмами методов решения задач классификации и кластерного анализа. Одним из вариантов было разбиение на классы по градациям номинальных признаков. Показателем качества разбиения служили значения устойчивости признаков [2,3] в задаче распознавания из двух классов. Анализ результатов показал, что значения устойчивости признаков от 0,5 до 0,6 далеки от идеального разбиения на интервалы, равного 1.

Проверялось гипотеза о наличии групп объектов с высокой плотностью распределения с условием, что конфигурация групп не имеет сферической формы. Одним из инструментов при исследовании служил метод DBSCAN для кластеризации по плотности распределения, вычисляемой по числу k ближайших соседей и значения радиуса ε.

Разделение объектов на группы и выбросы алгоритмом DBSCAN было использовано для:

• выбора соотношения между числом k ближайших соседей и радиусом ε;
• классификации объектов по принадлежности к группам (класс К₁) и выбросам (класс К₂).

Поиск оптимального соотношения между параметрами плотности реализован по классификации объектов осуществлялся по мере компактности классов [2] со множеством допустимых значений в (0;1]. Предлагалось для численного анализа каждой группы с произвольной конфигурацией использовать длину кратчайшего незамкнутого пути (КНП) между объектами. По результатам вычислительного эксперимента не удалось решить проблему интерпретации закономерностей по мере компактности так как мощность классов и их состав сильно различались при разных значениях k и ε.

Далее анализ набора данных проводился по локальным областям в форме гипершаров фиксированного радиуса. Радиус гипершара вычислялся по средней длине всех расстояний по метрике Журавлёва от центров в объектах до их k – го ближайшего соседа. Для идентификации длины радиуса в зависимости от числа k используется обозначение ε(k).

Число объектов в гипершаре с одной стороны является информацией о близости свойств подвидов тюльпанов, с другой стороны используется для медианного разделения на классы объектов с относительно высокой плотностью (K₁) и низкой (K₂).

Более сложный вариант анализа предлагается в [4]. Для каждого класса производится разбиение на группы по отношению связанности объектов по системы пересекающихся гипершаров. Центром гипершара является объект, радиусом – расстояние до объекта из противоположного класса. Истинность отношения связанности определяется наличием граничных объектов класса в пересечении гипершаров. Из-за сложной, несферической формы конфигурации групп рекомендуется использовать значение кратчайшего незамкнутого пути между эталонами их минимального покрытия. Соотношение между числом объектов и длиной КНП группы является источником дополнительных знаний о предметной области.

Разделение на классы расширяет возможности для интеллектуального анализа данных. Одной из таких возможностей является выбор и отбор информативных признаков с целью интерпретации их неизвестных ранее параметров в терминах предметной области. Такими параметрами могут быть устойчивость признаков, компактность объектов классов на числовой оси.

Состав локальных областей в форме гипершаров при разных значениях радиуса ε(k) и центрами в объектах выборки показан в табл. 3.

Таблица 3.

Состав гипершаров в зависимости от размеров радиуса

Анализ результатов из табл. 3 показывает, что объекты с порядковым номером 1 (Fritillaria bucharica) и 3 (Erythronium caucasicum) являются уникальными, так как нет сходных с ними объектов в локальных областях с радиусами 4,154 и 5,135.

Для углублённого анализа произведено разделения объектов с относительно высокой плотностью в класс К₁ и низкой в К₂. При разделении на классы использовалась упорядоченная последовательность значений плотности по числу объектов в гипершаре радиуса ε(5) = 5,135. По значению медианы, равной 7, мощность класса |К₁| = 26, |К₂| = 26.

Латентные признаковые пространства, сформированные жадными алгоритмами иерархический агломеративной группировки по аддитивному и мультипликативному принципу [3] показаны в табл. 4 и табл. 5.

Граница между классами на числовой оси определялась по максимуму произведения внутриклассового сходства и межклассового различия.

Таблица 4.

Первые два латентных признака, сформированные по аддитивному принципу

Таблица 5.

Первые два латентных признака, сформированные по мультипликативному принципу

Как видно из табл. 4, табл. 5 точность распознавания при описании объектов по мультипликативному принципу больше или равно точности по аддитивному принципу при меньшем числе исходных признаков, используемых для формирования латентных признаков. Визуальное представление объектов по парам признаков из табл. 4 и табл. 5 приводится на рис. 1.

Рисунок 1. Визуальное представление объектов в латентном признаковом пространстве, сформированном по аддитивному (а) и мультипликативному (б) принципу

Заключение

Построена информационная модель для поиска скрытых закономерностей по данными 52 подвидов тюльпанов из Красной книги. При моделировании использовались методы вычисления плотности распределения, кластерного анализа и классификации. Обнаружены уникальные подвиды тюльпанов и подвиды с очень близкими свойствами. Сформированы наборы латентных признаков из исходных номинальных по аддитивному и мультипликативному принципу вычисления обобщенных оценок объектов. Получено визуальное представление объектов по наборам латентных признаков.

Список литературы:

1. Электронный ресурс https://ru.wikipedia.org/wiki/DBSCAN
2. Ignatiev N. A. On Nonlinear Transformations of Features Based on the Functions of Objects Belonging to Classes // Pattern Recognition and Image Analysis. 2021. V. 31. № 2. P. 197–204.
3. Игнатьев Н.А., Акбаров Б.Х. Оценка близости структур отношений объектов обучающей выборки на многообразиях наборов латентных признаков // Вестник Томского государственного университета. Управление, вычислительная техника и информатика. 2023. № 65. С. 69–78. doi: 10.17223/19988605/65/7.
4. Игнатьев Н.А., Згуральская Е.Н. Кластерный анализ с применением обучения на основе отношений связанности и плотности распределения // Вестник Томского государственного университета. Управление, вычислительная техника и информатика. 2024. № 68. С. 66–74. doi: 10.17223/19988605/68/7