该赛事要求解决不同领域对答预测问题,除了要精准理解问题、准确抽取问题槽位与识别长难句的多个不同意图外,还要在缺乏领域知识的前提下,从十分庞大的候选集里精准预测唯一答案。
平安人寿利用BERT预训练技术,研发了基于知识图谱的语义匹配和对话回应选择模型,总分达0.7914。
该成绩较2018年第一名阿里巴巴达摩院创造的世界纪录,大幅提升13%。 第二项,“基于Schema的对话状态追踪”赛事,(Schema-Guided State Tracking)。
该赛事要求解决对话系统的状态追踪问题,难点在于zero-shot learning,缺乏训练语料,是业界公认的难题。
平安人寿人工智能研发团队提出了基于机器阅读理解技术的状态追踪算法框架paDST(Dialogue State Tracking as Machine Reading Comprehension)。
结合大规模语料预训练的XLNet模型和roBERTa模型来实现对话状态追踪,最终实现准确率达到86.53%。 第三项,“面向多领域端到端对话系统”赛事,(End-to-End Multi-Domain Dialog Challenge)。
该赛事要求优化端到端的对话系统,难点在于系统需要支持多领域多轮对话,大大提高了优化的难度和系统的复杂性。
平安人寿人工智能研发团队研发了基于BERT的NLU模型和多意图自然语言生成算法相结合的端到端对话生成技术(End-to-End Dialogue Generation based on BERT-NLU combine with Mutil-Intent-NLG),最终实现任务的完成率达到88.80%,远超系统baseline 66.40%,在评估指标F1上超过第二名6个百分点。
对话系统技术挑战赛(DSTC)是由微软研究院和卡内基梅隆大学的科学家于2013年发起的一项国际顶尖人工智能竞赛,旨在带动学术与工业界在对话技术上的提升,在对话领域具有极高的权威性和知名度,迄今已举办八届。
比赛结合时下最前沿、最具挑战性的对话系统技术问题设置比赛任务,鼓励学术和工业界的研究人员探索和开发解决方案。
本届DSTC8由微软、Google、IBM研究院、Adobe研究院、CMU、清华大学等联合举办,吸引了全球超百支来自知名企业、顶尖大学及研究机构的代表队伍参赛。 传统寿险公司AI蝶变