аспирант Хакасского государственного университета, 655017, Россия, Республика Хакасия, г. Абакан, ул. Ленина 90
Разработка системы определения наличия заимствований в работах студентов высших учебных заведений. Методы предварительной обработки текста
АННОТАЦИЯ
В статье рассматривается процесс подготовки текста, применяемый в системах автоматического обработки текста в контексте системы по определению наличию заимствований. Приводится исследование методов выявления стоп-слов как одного из самых ключевых моментов подготовки текстов, и на основании эффективности данных методов выбирается один из методов для реализации в разрабатываемой системе системы определения наличия заимствований.
ABSTRACT
This article discusses the process of preparing the text to use in automatic text processing system in the context to determine the presence of adoption. The research methods to identify the stop-words as one of the important pivotal moments of preparation of texts is describes and on the basis of the effectiveness of these methods is selected one of the methods to be implemented in the developed system of determining the presence of adoption.
Список литературы:
1. Зиберт А.О., Хрусталев В.И. Разработка системы определения наличия заимствований в работах студентов высших учебных заведений. Алгоритмы поиска нечетких дубликатов // Universum: Технические науки : электрон. научн. журн. 2014. № 3 (4)/ [Электронный ресурс]. — Режим доступа: URL: http://7universum.com/ru/tech/archive/item/1139 (дата обращения: 26.03.2014).
2. Терминология / [Электронный ресурс]. — Режим доступа: https://pymorphy2.readthedocs.org/en/latest/glossary.html#id5 (дата обращения: 08.03.2014).
3. Яцко В.А. История вычислительной техники и информатики. — Абакан: Издательство ФГБОУ ВПО «Хакасский Государственный Университет им Н.Ф. Катанова», 2013. — 88 с.
4. Davarpanah M.R., Sanji M., Aramideh M. Farsi lexical analysis and stop word list. — Library Hi Tech., 2009. — V. 27, Iss. 3. — PP. 435—449.