ВАРИАНТ СТРУКТУРЫ ПРОГРАММНОГО КОМПЛЕКСА УЗЛА РАСПРЕДЕЛЕННОЙ СИСТЕМЫ ДОСТАВКИ ДАННЫХ С ОВЕРЛЕЙНЫМ БЛОКОМ ФОРМИРОВАНИЯ ЛОГИЧЕСКОЙ ГРУППЫ УЗЛОВ

АННОТАЦИЯ

В статье рассматривается представление о повышении эффективности процесса обслуживания запросов в распределенных вычислительных системах на основе логического объединения их подмножества в пиринговые системы, а также предложен способ взаимного информационного согласования элементов объединенной системы для обслуживания потока высокоинтенсивных запросов к данным.  В качестве метода и модели обеспечивающей поддержку децентрализованного взаимодействия элементов пиринговой системы предложена аукционная модель. С использованием теории мультиагентных систем рассмотрен подход для процесса формирования логической группы элементов пиринговой системы, определены соответствующие программные модули-агенты, обеспечивающие функции инициализации и реализации процесса проведения аукциона. Определены функции программного оверлейного блока формирования логической группы элементов пиринговой системы.

ABSTRACT

The article considers the idea of ​​increasing the efficiency of the request servicing process in distributed computing systems based on the logical unification of their subset into peer-to-peer systems, and also proposes a method for mutual information coordination of the elements of the unified system for servicing the flow of high-intensity data requests. An auction model is proposed as a method and model that provides support for decentralized interaction of the elements of the peer-to-peer system. Using the theory of multi-agent systems, an approach is considered for the process of forming a logical group of elements of the peer-to-peer system, the corresponding software modules-agents are determined that provide the functions of initialization and implementation of the auction process. The functions of the software overlay block for forming a logical group of elements of the peer-to-peer system are determined.

Ключевые слова: распределенные системы, система доставки данных, пиринговые системы, аукционная модель.

Keywords: distributed systems, data delivery system, peer-to-peer systems, auction model.

Введение

Прогресс в системах распределенных вычислений (СРВ) связан с развитием и совершенствованием методов, математического, программного и аппаратного обеспечения на разных уровнях иерархии вычислительных систем, включая кэш-память, системы актуализации маршрутизации, распределенные транзакции, очереди сообщений, федеративное обучение и сети доставки контента. Эти системы, объединяющиеся в класс систем доставки данных (СДД), сталкиваются с проблемами согласованности и доступности, отраженными в теоремах CAP и BASE [1]. При решении этой проблемы исследования не в полной мере рассматривают свойство оперативности доставки данных, обобщенно выражаемое показателем «время отклика узла СДД на запрос доставки данных», ориентируясь на централизованное управление и не принимая во внимание автономность узлов. В системах с высокой автономностью, таких как микросервисы и CDN, отсутствуют обобщенные подходы к оптимизации этих задач, что усугубляется при высокой интенсивности запросов.

Материалы и методы

Основной недостаток СДД заключается в том, что увеличение пользовательских запросов может снизить эффективность обслуживания из-за ограниченной вычислительной мощности и пропускной способности. Предлагается решить эту проблему логическим объединением нескольких элементов СДД для более эффективного обслуживания запросов высокой интенсивности. При этом элемент СДД, к которому поступают высокоинтенсивные запросы на определенный тип данных, реплицирует эти данные на другие СДД, входящие в логическую группу , а также перенаправляет на них часть высокоинтенсивных запросов.

Пусть в некоторый момент времени на элемент СДД – инициатор поступают запросы  к данным , имеющие высокую интенсивность. С целью повышения эффективности их обслуживания, элемент СДД – инициатор с использованием механизма взаимного информационного согласования инициирует формирование логической группы .

Одним из важных вопросов, связанных с процессами формирования, функционирования и расформирования логической группы  является вопрос обоснованного выбора механизма  [2]. Элементы СДД обладают высокой степенью автономности, что не предполагает наличия централизованного механизма их ВИС. Таким образом, выбор механизма  лежит в плоскости децентрализованных методов ВИС, достаточно подробно рассмотренных в [3-6].

Основной особенностью, связанной с возможностью формирования и функционирования логической группы  является возможность репликации данных , требуемых для обработки запросов , поступивших в момент времени   с элемента СДД – инициатора формирования  на элементы участники . Элемент участник  должен иметь свободный объем хранилища данных , достаточный для размещения реплики данных , либо принять решение о возможности замещения части собственных данных , например, по критерию их востребованности в запросах , репликой данных элемента СДД – инициатора формирования .

Выполнение этих условий носит стоимостной характер и связано с оцениванием элементами СДД параметров, определяющих «стоимость» обслуживания, как собственных запросов , так и запросов, перенаправляемых с элемента СДД-инициатора. Очевидно, что оптимальным решением, связанным с участием элемента СДД в составе логической группы  является минимизация «стоимости» обслуживания собственных запросов  и максимизация «прибыли», получаемой от обслуживания перенаправляемых запросов [7].

В СДД-системах макроуровня, таких как сети доставки контента (CDN) и системы очередей сообщений (MQS) такие показатели стоимости могут иметь экономический характер, такой как выражаемая в денежном эквиваленте стоимость дополнительного объема хранилища данных  или получение дополнительной прибыли в виде стоимости обслуживания перенаправляемых запросов, поступающих от элемента СДД – инициатора логической группы . В СДД-системах микроуровня, например в системах когерентности кэш-памяти многоядерных процессоров или многопроцессорных вычислителей (CCS-системы) такие показатели стоимости могут носить условный характер, например, повышение значения уровня приоритета элемента СДД в случае, если он будет выступать инициатором формирования новой логической группы . В любом случае указанная особенность механизма ВИС определяет выбор и обоснование методов и моделей его реализации, поддерживающих стоимостные параметры взаимодействия элементов системы.

Наиболее известные из таких методов и моделей, обеспечивающие поддержку децентрализованного взаимодействия элементов, рассматриваются в теории аукционных игр (ТАИ) [8].

Результаты

В основе реализации аукционной модели для процесса формирования логической группы  предлагается использование мультиагентного подхода, рассматриваемого теорией мультиагентных систем (МАС) [9]. Согласно этому подходу, в составе программного обеспечения каждого элемента СДД выделяются соответствующие программные модули-агенты, обеспечивающие функции инициализации и реализации процесса проведения аукциона [10]:

• агент покупателя (далее АП);
• аукционист (далее А);
• фиксированное множество агентов продавца (далее АПр), которые являются участниками аукциона.

Функциональный компонент А начинает процесс аукциона в контексте запроса функционального компонента АП.

Глобальной целью функционального компонента А является получение от функциональных компонентов АПр других систем СДД, участвующих в аукционе, совокупности объема хранилищ , обеспечивающих размещение реплик данных , необходимых пользователю, от имени которого функционирует компонент АП.

Функциональные компоненты АПр узлов-участников выполняют вычисление «ставки» и предают его функциональному компоненту А узла СДД – инициатора, который формирует список узлов СДД – победителей аукциона и возвращает им значение «выигрыша», на основе которого узлы – участники аукциона формируют значение «прибыли» от участия в аукционе – разности между поданным ими значением «ставки» и полученным ими значениями «выигрыша». Это событие является триггером для передачи узлом СДД – инициатором реплики данных на узлы СДД – победители аукциона, а также организации перенаправления им части запросов .

Рисунок 1. Структура программного комплекса узла распределенной СДД с оверлейным блоком формирования логической группы узлов

Программно-аппаратная реализация функциональности СДД существенно зависит от особенностей конкретного уровня, на котором функционируют системы распределенных вычислений. На рисунке 1 предложен программный комплекс узла распределенной СДД с оверлейным блоком формирования логической группы узлов (отмечен штрих-пунктиром) для фрагмента сети взаимодействующих систем доставки контента (CDN).

Оверлейный характер предлагаемой архитектуры позволяет сделать ее программно-инвариантной конкретным реализациям СДД. Для СДД сервисного уровня данных СРВ она может быть реализована на базе прикладных фреймворков типа PyMAS (Python Multiagent System), для аппаратного уровня СРВ – в виде проблемно-ориентированных ASIC-модулей.

Из рисунка 1 видно, что модуль формирования логической группы инициализируется: на основе мониторинга перегрузки узла СДД (порог интенсивности запросов) или по запросу контент-провайдера СДД. Он представлен модулем инициализации и завершения аукциона, поддерживающим актуальное состояние хранилища схемы логической группы и двух типов агентов: продавца (функция предоставления услуги обработки перенаправленных запросов) и покупателя (функция формирования требования к агентам продавцам). Взаимодействие узлов динамически сформированной логической группы производится с использованием блока P2P-связи (реализация протокола DHT).

Заключение

Архитектура программно-реализованной распределенной системы доставки данных с децентрализованным обслуживанием запросов пользователей предлагает эффективное решение для обработки растущих объемов трафика и предотвращения образований «горячих точек» в сети. Используя оверлейную структуру и динамическое формирование логических групп узлов на базе протокола P2P, данная архитектура обеспечивает более оперативное взаимодействие между контент-провайдерами и пользователями, что позволяет улучшить качество обслуживания без зависимости от централизованного управления.

Список литературы:

1. Gilbert S., Nancy A. Lynch N.A. Perspectives on the CAP Theorem // In the Proc. of the International Symposium on Principles of Distributed Computing (PODC), pages 328–337, 2004.
2. Pathan M., Broberg J., Bubendorfer K., Kim K.H., Buyya R. An architecture for virtual organization (VO)-based effective peering of content delivery networks. UPGRADE-CN’07, In Proc. of the 16th IEEE International Symposium on High Performance Distributed Computing (HPDC). 2007. Режим доступа: https://sci-hub.ru/10.1145/1272980.1272989 DOI: 10.1145/1272980.1272989 (дата обращения: 05.06.2024).
3. Rowstron A., Druschel P. Scalable, Decentralized Object Location, and Routing for Large-Scale Peer-to-Peer Systems. Lecture Notes in Computer Science. 2001. Режим доступа: https://sci-hub.ru/10.1007/3-540-45518-3_18 DOI: 10.1007/3-540-45518-3_18 (дата обращения: 02.06.2024).
4. Wang X., Ma R.T.B. On private peering agreements between content and access providers. Proceedings of the ACM on Measurement and Analysis of Computing Systems. 2021. Режим доступа: https://sci-hub.ru/10.1145/3428326 DOI: 10.1145/3428326 (дата обращения: 02.06.2024).
5. Globally distributed content delivery / J. Dilley, B. Maggs, J. Parikh, H Prokop, R. Sitaraman, B. Weihl // IEEE Internet Computing, pp. 50-58 – Sept./Oct. 2002.
6. Ratnasamy S., Francis P., Handley M., Karp R., Shenker S. A scalable content addressable network // In Proceedings of the ACM SIGCOMM 01 Conference, San Diego, CA. – Aug 2001.
7. Pathan M., Buyya R. Economy-based Content Replication for Peering Content Delivery Networks. Seventh IEEE International Symposium on Cluster Computing and the Grid. 2007. Режим доступа: https://sci-hub.ru/10.1109/CCGRID.2007.48 DOI: 10.1109/CCGRID.2007.48 (дата обращения: 10.06.2024).
8. Рожкова Т.С. Подходы к использованию аукционных методов для управления ресурсами в распределенной вычислительной системе. Материалы международной научно-технической конференции студентов, аспирантов и молодых ученых «Научная сессия ТУСУР-2020». 2020;2:64-67.
9. Wooldridge, Michael (2002). An Introduction to MultiAgent Systems. John Wiley & Sons. p. 366. ISBN 978-0-471-49691-5.
10. Norman T.J., Preece A., Chalmers S., Jennings N.R., Luck M., Dang V.D., Nguyen T.D., Deora V., Shao J., Gray W.A., Fiddian N.J. Agent-Based Formation of Virtual Organisations. Research and Development in Intelligent Systems XX. 2004. Режим доступа: https://library.lol/main/5C8CA48D4392F4CE718E0BBA1 438B125 DOI: 10.1007/978-0-85729-412-8_26 (дата обращения: 15.05.2024).