Распознавание информации о продуктах в розничной торговле как задача MRC
Аннотация
В статье рассматривается задача распознавания информации о продуктах (названий, цен, материалов и т.д.), упомянутой в комментариях клиентов. Эта задача является одной из ключевых при разработке продуктов с помощью искусственного интеллекта. Ее решение позволяет компаниям прислушиваться к своим клиентам, адаптироваться к динамике рынка, постоянно совершенствовать свои продукты и услуги, а также улучшать взаимодействие с клиентами за счет повышения эффективности чат-бота. С этой целью инструменты обработки естественного языка обычно используются для формулирования традиционной задачи о маркировке последовательностей. Однако в настоящей статье мы предлагаем другой, альтернативный подход, основанный на использовании возможностей моделимашинного обучения MRC (machine reading comprehension,машинное чтение и понимание текста). В данной постановке определение типов информации о продукте аналогично заданию вопроса «Какая информация о продукте упоминается пользователями?». Например, извлечение названий продуктов (которое соответствует метке PRO_NAME) выполняется как извлечение интервалов ответов на вопрос «Какие примеры названий продуктов упоминаются?». Нами проведены обширные эксперименты с общедоступным набором данных, имеющихся во Вьетнаме. Результаты экспериментов показывают надежность предложенного альтернативного метода: он повышает производительность модели распознавания по сравнению с двумя базовыми показателями, обеспечивая их значительное улучшение. В частности, мы достигли уровня 92,87% по шкале F1 при распознавании описаний продуктов на уровне 1. На уровне 2 модель показала результат 93,34% по шкале F1 при распознавании каждого типа информации о продукте.
Скачивания
Литература
Tran O.T., Luong T.C. (2020) Understanding what the users say in chatbots: A case study for the Vietnamese language. Engineering Applications of Artificial Intelligence, vol. 87, 103322. https://doi.org/10.1016/j.engappai.2019.103322
Tran O.T., Bui V.T. (2020) A BERT-based hierarchical model for Vietnamese aspect based sentiment analysis. Proceedings of the 12th International Conference on Knowledge and System Engineering (KSE), Can Tho, Vietnam, 2–14 November 2020, pp. 269–274. https://doi.org/10.1109/KSE50997.2020.9287650
Bui V.T., Tran O.T., Le H.P. (2020) Improving sequence tagging for Vietnamese text using transformer-based neural models. arXiv:2006.15994. https://doi.org/10.48550/arXiv.2006.15994
Lample G., Ballesteros M., Subramanian S., Kawakami K., Dyer C. (2016) Neural architectures for named entity recognition. Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, San Diego, California, June 2016, pp. 260–270. https://doi.org/10.18653/v1/N16-1030
Levy O., Seo M., Choi E., Zettlemoyer L. (2017) Zero-shot relation extraction via reading comprehension. arXiv:1706.04115. https://doi.org/10.48550/arXiv.1706.04115
McCann B., Keskar N.S., Xiong C., Socher R. (2018) The natural language decathlon: Multitask learning as question answering. arXiv:1806.08730. https://doi.org/10.48550/arXiv.1806.08730
Li X., Yin F., Sun Z., Li X., Yuan A., Chai D., Zhou M., Li J. (2019) Entity-relation extraction as multi-turn question answering. Proceedings of the 57th Conference of the Association for Computational Linguistics, Florence, Italy, July 2019, pp. 1340–1350. https://doi.org/10.18653/v1/P19-1129
Ji Z., Lu Z., Li H. (2014) An information retrieval approach to short text conversation. arXiv:1408.6988. https://doi.org/10.48550/arXiv.1408.6988
Qiu M., Li F., Wang S., Gao X., Chen Y., Zhao W., Chen H., Huang J., Chu W. (2017) AliMe chat: A sequence to sequence and rerank based chatbot engine. Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), Vancouver, Canada, July 2017, pp. 498–503. https://doi.org/10.18653/v1/P17-2079
Goncharova E., Ilvovsky D.I., Galitsky B. (2021) Concept-based chatbot for interactive query refinement in product search. Proceedings of the 9th International Workshop "What can FCA do for Artificial Intelligence?" (FCA4AI 2021), vol. 2972, CEUR-WS, pp. 51–58. Available at: http://ceur-ws.org/Vol-2972/paper5.pdf (accessed 15 February 2024).
Yan Z., Duan N., Chen P., Zhou M., Zhou J., Li Z. (2017) Building task-oriented dialogue systems for online shopping. Proceedings of the AAAI Conference on Artificial Intelligence, vol. 31, no. 1. https://doi.org/10.1609/aaai.v31i1.11182
Liu Y., Ott M., Goyal N., Du J., Joshi M., Chen D., Levy O., Lewis M., Zettlemoyer L., Stoyanov V. (2019) RoBERTa: A robustly optimized BERT pretraining approach. arXiv:1907.11692. https://doi.org/10.48550/arXiv.1907.11692
Yang Z., Dai Z., Yang Y., Carbonell J., Salakhutdinov R.R., Le Q.V. (2019) XLNet: Generalized autoregressive pretraining for language understanding. 33rd Conference on Neural Information Processing Systems (NeurIPS 2019), Vancouver, Canada, arXiv:1906.08237. https://doi.org/10.48550/arXiv.1906.08237
Vaswani A., Shazeer N., Parmar N., Uszkoreit J., Jones L., Gomez A.N., Kaiser Ł., Polosukhin I. (2017) Attention is all you need. 31st Conference on Neural Information Processing Systems (NIPS 2017), Long Beach, CA, USA, arXiv:1706.03762. https://doi.org/10.48550/arXiv.1706.03762
Kingma J., Ba J. (2015) Adam: A method for stochastic optimization. arXiv:1412.6980. https://doi.org/10.48550/arXiv.1412.6980
Devlin J., Chang M.W., Lee K., Toutanova K. (2018) Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv:1810.04805. https://doi.org/10.48550/arXiv.1810.04805
Therasa M., Mathivanan G. (2022) Survey of machine reading comprehension models and its evaluation metrics. Proceedings of the 6th International Conference on Computing Methodologies and Communication (ICCMC), Erode, India, pp. 1006–1013. https://doi.org/10.1109/ICCMC53470.2022.9754070
