ДЕРМИНИРОВАННАЯ АНОНИМИЗАЦИЯ НЕСТРКТУРИРОВАННЫХ ДАННЫХ ПРИ ИНТЕГРАЦИИ КОРПОРАТИВНЫХ СЕТЕЙ С КРУПНЫМИ ЯЗЫКОВЫМИ МОДЕЛЯМИ

АННОТАЦИЯ

Распространение публичных API крупногабаритных языковых моделей (LLM) стимулировало взрывной рост исходящего неструктурированного трафика, содержащего персональные данные пользователей и коммерческую тайну. Традиционные системы маскирования базируются либо на регулярных выражениях (низкая полнота, высокая ломкость), либо на моделях распознавания именованных сущностей (NER), требующих дорогостоящего переобучения и графических ускорителей. В статье формализован и экспериментально обоснован детерминированный движок Rule + Mask, который описывает логику анонимизации в виде горячо‑перезагружаемых YAML‑правил и обеспечивает режим fail‑closed при любой деградации сервиса. На корпусе из 10 000 реальных корпоративных запросов (≈ 7 МиБ, 12 типов PII) метод достиг 98,7 % precision, 96,3 % recall и F₁ = 0,97, сохраняя задержку 1,2 мс∙КиБ⁻¹, что в 5–6 раз быстрее трансформерного NER при сокращении TCO на 68 %. Проведён регуляторный анализ (GDPR, CCPA/CPRA, HIPAA), приведён сравнительный обзор 30 инструментов и предложен DevSecOps‑конвейер валидации правил.

ABSTRACT

The proliferation of public APIs for large-scale language models (LLMs) has triggered an explosive increase in outbound unstructured traffic containing users' personal data and trade secrets. Traditional masking systems rely either on regular expressions (which suffer from low recall and high fragility) or on named entity recognition (NER) models that require expensive retraining and GPU acceleration. This paper formalizes and experimentally validates a deterministic Rule + Mask engine that defines anonymization logic through hot-reloadable YAML rules and ensures a fail-closed mode under any service degradation. On a dataset of 10,000 real corporate requests (~7 MiB, 12 PII types), the method achieved 98.7% precision, 96.3% recall, and F₁ = 0.97, while maintaining a latency of 1.2 ms·KiB⁻¹—5–6 times faster than transformer-based NER approaches, with a 68% reduction in total cost of ownership (TCO). A regulatory analysis (GDPR, CCPA/CPRA, HIPAA) is presented, along with a comparative review of 30 tools and a proposed DevSecOps pipeline for rule validation.

Ключевые слова: анонимизация, PCPR/CCPA, GDPR, HIPAA, PII, LLM, DevSecOps, детерминированное маскирование.

Keywords: anonymization, PCPR/CCPA, GDPR, HIPAA, PII, LLM, DevSecOps, deterministic masking.

Введение

Актуальность. По отчёту IBM Cost of a Data Breach 2024 средняя стоимость утечки данных достигла 4,88 млн USD, а в 33 % инцидентов фигурировали так называемые shadow data — копии чувствительной информации в облачных SaaS‑сервисах. Gartner прогнозирует, что к 2026 г. более 60 % предприятий будут использовать публичные LLM‑API хотя бы в одном критичном бизнес‑процессе. Данные тренды обуславливают растущий интерес к технологиям низко‑латентной анонимизации.

Цель и задачи исследования. Цель — разработать метод анонимизации, сопоставимый по точности с NER, но лишённый вычислительных издержек ML‑моделей и обеспечивающий регуляторную прозрачность.

Задачи: (i) проанализировать нормативные акты (GDPR, CCPA/CPRA, HIPAA); (ii) классифицировать существующие техники маскирования; (iii) предложить формальную модель Rule + Mask; (iv) провести экспериментальную оценку; (v) описать интеграцию в DevSecOps.

Научная новизна

• введена DSL‑форма представления правил, поддерживающая приоритеты, валидаторы и scoped‑маскирование;
• предложен гибрид Aho–Corasick + SIMD‑скан с пирамидой приоритетов, уменьшающий число операций на 40 %;
• доказана применимость fail‑closed‑архитектуры к трафику LLM‑шлюзов при 100 мс SLA.

Проблемное поле и нормативная база

Таблица 1.

Перечень инцидентов утечки данных

Регуляторные требования.

• GDPR (ЕС) — Ст. 44–46: при трансграничной передаче обязателен «эквивалентный уровень защиты», подразумевающий анонимизацию/псевдонимизацию.
• CCPA/CPRA (США, Калифорния) — §1798.140 требует необратимого удаления идентификаторов либо явного consent‑механизма Do Not Sell or Share.
• HIPAA (США) — §164.514(b): удаление 18 идентификаторов или сертификация эксперта.

Нарушение приводит к штрафам до 4 % глобального оборота (GDPR) или 7 500 USD за запись (CPRA).

Обзор существующих методов

Таблица 2.

Сравнение методов маскирования данных

Наиболее популярный open‑source — Microsoft Presidio.

Предлагаемый метод Rule + Mask.

• Rule‑first: сущности описываются паттерном, маской, приоритетом.
• Детерминизм: отсутствие ML‑инференса → линейная латентность.
• Hot‑reload: правила хранятся в Git/S3, перезагружаются без даунтайма.
• Fail‑closed: при деградации движка текст блокируется на Envoy‑Lua.

Формальная модель.  (R_i = P_i, M_i, _i, f_i, S_i )

(P_i)* — PCRE; (M_i) — токен, HMAC или FPE; **(_i) — приоритет; (f_i) — валидатор (например, Luhn); (S_i)** — область применения.*

Архитектура. Клиент → API‑GW → Нормализатор → Rule‑Runner → LLM‑Proxy → Поставщик LLM

Нормализатор обеспечивает UTF‑8 NFC и удаляет управляющие символы.

Пример DSL‑правила.

- name: US_SSN
  pattern: "\b(?!000|666|9\d{2})(\d{3})[- ]?(?!00)(\d{2})[-]?(?!0000)(\d{4})\b"
  mask: "[SSN]"
  priority: 5
  scope: ["chat", "doc_ingest"]
  on_match:
 - action: hash
 - stream: pii_log@kafka

Алгоритмические оптимизации

Таблица 3.

Сравнение алгоритмов оптимизации

Stateless‑исполнители → горизонтальный HPA в Kubernetes; версия правил через ConfigMap. HMAC‑ключи в Vault, Git‑коммиты подписаны GPG, логи в WORM‑S3. PR‑линтер проверяет покрытие правилами API‑контрактов; ArgoCD блокирует релиз при регрессии на «золотом» корпусе.

Датасет и методика: 10 000 запросов (7 МиБ, 12 PII) → Intel Xeon 6330 (2,2 ГГц).

Метрики: Precision, Recall, F₁, Latency.

Результаты

Таблица 4.  

Результаты исследований алгоритмов

Нагрузочное тестирование показало ≤ 9 % деградацию пропускной способности относительно шлюза‑пасстру.

Высокая точность достигается за счёт богатых PCRE‑паттернов и валидаторов, а детерминизм упрощает аудит и соответствие регуляциям. Система журналирует ложные негативы → ночной генератор правил формирует MR, закрывая разрывы без участия Data Science‑команды.

Выводы

Предложен детерминированный движок Rule + Mask, демонстрирующий NER‑уровень точности при минимальной латентности и прозрачности правил. Метод соответствует GDPR, CCPA/CPRA и HIPAA и рекомендован для real‑time LLM‑шлюзов.

Направления будущих исследований:

1. Автоматическое дообучение лёгкой NER на FN.
2. Маскирование, учитывающее токенизацию GPT‑4o (128k).
3. Потоковая интеграция с SIEM‑системами для аномалий FP/FN.
4. Портирование ядра в WASM и Edge‑CDN.

Список литературы:

1. IBM. Cost of a Data Breach Report 2024. – Armonk, NY: IBM Security, 2024. – 47 с.
2. California Office of the Attorney General. California Consumer Privacy Act Regulations: text as of 13 Mar 2024. – Sacramento, 2024. – 38 с.
3. European Parliament and Council. General Data Protection Regulation (EU) 2016/679. – Brussels, 2016. – 88 с.
4. Aho A.V., Corasick M.J. Efficient string matching. – Communications of the ACM. – 1975. – Vol. 18, № 6. – P. 333–340.
5. Luhn H.P. Computer for verifying numbers. – U.S. Patent 2 950 048, 1960. – 12 p.
6. ISO/IEC 27001:2022. Information security, cybersecurity and privacy protection – Information security management systems. – Geneva: ISO, 2022. – 53 p.
7. Gartner. Market Guide for Sensitive Data Masking. – Stamford: Gartner Research, 2024. – 29 p.
8. Smith J., Brown L. Rule‑based anonymization in enterprise chatbots. – Journal of Data Security. – 2023. – Vol. 12, № 4. – P. 77–89.
9. Microsoft Presidio: Open‑source framework for PII detection and anonymization [Электронный ресурс]. – URL: https://github.com/microsoft/presidio (дата обращения: 05.07.2025).
10. TermsFeed. GDPR Anonymization vs CCPA De‑identification. – TermsFeed Blog, 2025. – URL: https://termsfeed.com/blog/gdpr-anonymization/ (дата обращения: 05.07.2025).