Специалисты научили нейросети точнее анализировать соцсети с помощью нового кластерного метода
Учёные Кольского научного центра Российской академии наук (КНЦ РАН) представили новый метод, повышающий точность анализа данных из социальных сетей с помощью больших языковых моделей (LLM). Об этом сообщили в Министерстве науки и высшего образования РФ. Разработка призвана решить одну из ключевых проблем, связанных с применением LLM, — склонность таких систем генерировать правдоподобные, но фактически недостоверные выводы.
Специалисты предложили три различных архитектуры для организации взаимодействия модели с данными: простой прямой запрос, конвейер с предварительным выделением ключевых слов и кластерный подход. Тестирование всех вариантов проводилось на реальных данных из домовых чатов. Наиболее эффективным показал себя кластерный метод, при котором тексты сначала преобразуются в векторные представления, группируются по смыслу, а затем уже анализируются и обобщаются.
По информации ведомства, именно этот подход обеспечил 100-процентную стабильность работы и 94-процентную прослеживаемость результата при обработке больших массивов информации. Уже сейчас новая разработка внедрена в действующую систему мониторинга, что позволит повысить достоверность анализа общественных настроений и данных из открытых цифровых источников.