Институт информационных технологий (iDST), исследовательское подразделение китайского гиганта Alibaba, разработал модель глубокого обучения, которая сумела обогнать человека в тесте по чтению Stanford Question Answering Dataset (Squad). У нейронной сети показатель составил 82,44, а человек ранее сумел достичь оценки 82,304.
Squad состоит более чем из 100 тысяч наборов вопросов и ответов по более чем 500 статьям с «Википедии». Участники должны были создать модели машинного обучения, которые могли бы отвечать на заданные вопросы.
Среди участников теста оказались различные университеты, исследовательские учреждения и поставщики технологий, включая Tencent, Google, IBM, Microsoft, Samsung, Тель-Авивский университет и Канвонский национальный университет в Южной Корее. Некоторые из них уже проходили тест в прошлом году. Например, азиатское исследовательское подразделение Microsoft (Microsoft Research Asia) 17 декабря 2017 года получило оценку 82,136. Предыдущий показатель Alibaba, равный 79,199, был зарегистрирован 28 декабря 2017 года.
Alibaba заявила, что в тесте по чтению сумела обогнать человека первой. Тем не менее, Squad поставил китайскую компанию на одно место с Microsoft Research Asia, которая заработала 82,65 балла. Ранг редмондского гиганта был зарегистрирован 3 января, а оценка Alibaba — 5 января.
Представитель китайского гиганта объяснил, что это даты подачи моделей. Результаты же теста Alibaba были зарегистрированы 11 января — на день раньше, чем у Microsoft. Поэтому Alibaba посчитала, что у неё есть право называть себя первой.
Модель компании основана на иерархической нейронной сети, способной выбирать потенциальные ответы из абзацев, предложений и слов. На базе той же технологии работал чат-бот Dian Xiaomi, который использовался во время фестивалей шоппинга и ежедневно обслуживал 3,5 млн пользователей торговых площадок Taobao и Tmall.
По словам главного научного сотрудника iDST по обработке естественного языка Си Луо (Si Luo), Alibaba собирается поделиться методологией создания моделей с сообществом и в ближайшем будущем внедрить актуальную технологию в системы обслуживания клиентов компании.