Научный журнал Байкальского государственного университета
System Analysis &
Mathematical Modeling
Издается с 2019 года
Menu
РусскийEnglish

Информация о статье

Название статьи:

Модель и архитектура системы автоматизации оценки заданий с использованием больших языковых моделей

Авторы:
Родионов А.В., кандидат технических наук, доцент, кафедра математических методов и цифровых технологий, Байкальский государственной университет, 664003, Российская Федерация, г. Иркутск, ул. Ленина, 11, RodionovAV@bgu.ru,

Дорощенко И.А., аспирант, кафедра математических методов и цифровых технологий, Байкальский государственной университет, 664003, Российская Федерация, г. Иркутск, ул. Ленина, 11, 010781@bgu.ru
В рубрике:
ТЕХНИЧЕСКИЕ НАУКИ
Год: 2026 Том: 8 Номер журнала: 3
Страницы: 342-355
Тип статьи: Научная статья
УДК: 004.89:378.146
DOI: 10.17150/2713-1734.2026.8(3).342-355; EDN: IBXHXG
Аннотация:
В работе представлена формальная модель и архитектура информационной системы для автоматизации оценки студенческих работ, развёртываемой в локальной инфраструктуре образовательного учреждения. В качестве демонстрационной предметной области выбраны курсы программирования, для которых характерно сочетание формализуемых и неформализуемых критериев оценивания. Система сочетает детерминированные проверки (модульное тестирование, статический анализ, запуск в изолированной среде) с генерацией развёрнутой обратной связи на основе большой языковой модели. Ключевым элементом является принцип фактологически обоснованной обратной связи: каждое оценочное суждение модели привязано к проверяемому основанию - результатам тестов, диагностикам анализатора, фрагментам кода. Конвейер оценивания формализован как управляемая система с обратной связью, в контур управления которой включён преподаватель. Предложен алгоритм маршрутизации решений с адаптивным порогом уверенности, обеспечивающий автоматическое направление неоднозначных случаев на ручную проверку. Архитектура построена по микросервисной модели с плагинной системой расширения на другие предметные области.
Ключевые слова: автоматизированное оценивание, большие языковые модели, системный анализ, конвейерная архитектура, многокритериальное оценивание, маршрутизация решений
Скачать полный текст статьи
Список цитируемой литературы:
  • Aiken A. MOSS: A System for Detecting Software Similarity. Stanford University. Available at: https://theory.stanford.edu/~aiken/moss/.
  • Liu X., Wang S., Wang P., Wu D. Automatic Grading of Programming Assignments: An Approach Based on Formal Semantics. 2019 IEEE/ACM 41st International Conference on Software Engineering: Software Engineering Education and Training (ICSE-SEET). IEEE, 2019, pp. 126-137. DOI: 10.1109/ICSE-SEET.2019.00022.
  • Winkel D. AI Grading in Higher Ed: Faster, Fairer, and More Helpful. TeachingEntrepreneurship.org. 2024. November. Available at: https://teachingentrepreneurship.org/ai-grading-benefits-2/.
  • Fox A., Patterson D.A., Joseph S., McCulloch P. MAGIC: Massive Automated Grading in the Cloud. Changee/Wapla/HybridEd@EC-TEL 2015: CEUR Workshop Proceedings, 2015, vol. 1599, pp. 39-48.
  • Ihantola P., Ahoniemi T., Karavirta V., Seppälä O. Review of Recent Systems for Automatic Assessment of Programming Assignments. Proceedings of the 10th Koli Calling International Conference on Computing Education Research. ACM, 2010, pp. 86-93. DOI: 10.1145/1930464.1930480.
  • Paiva J.C., Leal J.P., Figueira Á. Automated Assessment in Computer Science Education: A State-of-the-Art Review. ACM Transactions on Computing Education, 2022, vol. 22, no. 3, pp. 1-40. DOI: 10.1145/3513140.
  • Ala-Mutka K.M. A Survey of Automated Assessment Approaches for Programming Assignments. Computer Science Education, 2005, vol. 15, no. 2, pp. 83-102. DOI: 10.1080/08993400500150747.
  • Brown T.B., Mann B., Ryder N. Language Models are Few-Shot Learners. Advances in Neural Information Processing Systems (NeurIPS), 2020, vol. 33, pp. 1877-1901. DOI: 10.48550/arXiv.2005.14165.
  • Touvron H., Lavril T., Izacard G., Martinet X., LachauxM.-A. LLaMA: Open and Efficient Foundation Language Models. arXiv preprint, 2023. arXiv: 2302.13971. DOI: 10.48550/arXiv.2302.13971.
  • Pathak A., Gandhi R., Uttam V., Ramamoorthy A., Ghosh P. Rubric Is All You Need: Enhancing LLM-based Code Evaluation With Question-Specific Rubrics. arXiv preprint, 2025. arXiv: 2503.23989. DOI: 10.48550/arXiv.2503.23989.
  • Hong Y. Rulers: Locked Rubrics and Evidence-Anchored Scoring for Robust LLM Evaluation. arXiv preprint, 2026. arXiv:2601.08654. DOI: 10.48550/arXiv.2601.08654.
  • Gobrecht A., Tuma F., Möller M., Zöller T., Zakhvatkin M., A. Wuttig, Sommerfeldt H., Schütt S. Beyond Human Subjectivity and Error: a Novel AI Grading System. arXiv preprint. 2024. arXiv:2405.04323. DOI: 10.48550/arXiv.2405.04323.
  • Khakhar J. Privacy and copyright concerns with the utilization of OpenAI's services / J. Khakhar [и др.] // Proceedings of EasyChair. 2024.