Анализ влияния размера n-грамм на качество выявления текстовых заимствований

В работе рассматривается влияние длины n-грамм на качество выявления текстовых заимствований. Исследование основано на n-граммном подходе с использованием коэффициента Жаккара для оценки сходства текстов. Эксперименты проводились на корпусе научных и учебных текстов с различными типами заимствований, включая прямые, частичные и перефразированные случаи. Показано, что при малых значениях n повышается полнота обнаружения, но ухудшается точность из-за случайных совпадений. При увеличении n система начинает пропускать часть реальных заимствований. Отдельно отмечено, что наиболее сбалансированные результаты достигаются в диапазоне n = 3–4. В этом случае наблюдается оптимальное соотношение между точностью и полнотой. Полученные результаты могут быть использованы при настройке простых систем поиска заимствований и учебных антиплагиатных модулей.

1. Янников И.М. Методы и алгоритмы для поиска сходства между текстами / И.М. Янников, М.В. Ершова, А.Н. Исенбаев // Интеллектуальные системы в производстве. – 2024. – Т. 22, № 2. – С. 103–113.

2. Смирнов И.В. Интеллектуальный анализ текстов на основе методов разноуровневой обработки естественного языка / И.В. Смирнов. – М.: ФИЦ ИУ РАН, 2023. – 356 с.

3. Нугуманова А.Б. Автоматизированная обработка текстовых массивов: учебник и практикум для вузов / А.Б. Нугуманова. – 2-е изд. – М.: Издательство Юрайт, 2024. – 82 с.

4. Гасанов Э.Э. Интеллектуальные системы. Теория хранения и поиска информации: учебник для вузов / Э.Э. Гасанов, В.Б. Кудрявцев. – 2-е изд., испр. и доп. – М.: Издательство Юрайт, 2025. – 271 с.