在线永久免费观看丝袜黄网站-凹凸国产熟女精品视频国语-日韩亚洲午夜精品一区二区三区-日韩欧美国产另类一区二区

1 任務(wù)1.1 任務(wù)定義

wer，中文名稱是社區(qū)問(wèn)答。是利用半結(jié)構(gòu)化的數(shù)據(jù)（問(wèn)答對(duì)形式）來(lái)回答用戶的提問(wèn)，其流程通?？梢苑譃槿糠帧?/p>

問(wèn)題解析，對(duì)用戶輸入的問(wèn)題進(jìn)行分詞，糾錯(cuò)等預(yù)處理步驟。召回部分，利用信息檢索引擎如等根據(jù)處理后的問(wèn)題提取可能的候選問(wèn)題。排序部分，利用信息檢索模型對(duì)召回的候選問(wèn)題進(jìn)行相似度排序，尋找到最相似的問(wèn)題并返回給用戶。1.2 任務(wù)分類

通常，根據(jù)應(yīng)用場(chǎng)景的不同，可以將CQA任務(wù)分為兩類：

1.3 評(píng)測(cè)標(biāo)準(zhǔn)1.4 數(shù)據(jù)集

由于工業(yè)界的數(shù)據(jù)集通常來(lái)自其自身業(yè)務(wù)的記錄，并不對(duì)外公開，故以下只舉例介紹相關(guān)比賽中出現(xiàn)的數(shù)據(jù)集：

“技術(shù)需求”與“技術(shù)成果”項(xiàng)目之間關(guān)聯(lián)度計(jì)算模型（需求與成果匹配）平安醫(yī)療科技疾病問(wèn)答遷移學(xué)習(xí)比賽（疾病問(wèn)句匹配）

相似案例匹配大賽（法律文書匹配）智能客服問(wèn)題相似度算法設(shè)計(jì)——第三屆魔鏡杯大賽CCKS 2018 微眾銀行智能客服問(wèn)句匹配大賽AFQMC 螞蟻金融語(yǔ)義相似度OPPO手機(jī)搜索排序query-title語(yǔ)義匹配數(shù)據(jù)集醫(yī)療問(wèn)題相似度衡量競(jìng)賽數(shù)據(jù)集2 方法及模型2.1 無(wú)監(jiān)督方法2.1.1 規(guī)則匹配

目前，流行的問(wèn)答系統(tǒng)中依舊大量應(yīng)用著規(guī)則匹配的方法?；谝?guī)則的方法擁有可解釋性強(qiáng)，易于控制，效率高，易于實(shí)現(xiàn)，不需要標(biāo)注數(shù)據(jù)等優(yōu)勢(shì)。針對(duì)FAQ庫(kù)中的標(biāo)問(wèn)和相似問(wèn)進(jìn)行分詞、應(yīng)用正則表達(dá)式等方法提煉出大量的概念，并將這些概念進(jìn)行組合，構(gòu)成大量的句式，句式再進(jìn)行組合形成標(biāo)問(wèn)。

在基于規(guī)則的匹配中, 如何進(jìn)行規(guī)則的自動(dòng)發(fā)現(xiàn)與更新、檢驗(yàn)與評(píng)估是最關(guān)鍵的問(wèn)題。究其原因, 由人工維護(hù)的產(chǎn)生式規(guī)則需要高水平的、具備豐富的領(lǐng)域知識(shí)的專家.在問(wèn)答系統(tǒng)所應(yīng)用的領(lǐng)域較為狹窄時(shí)， 這有可能得到滿足。然而, 隨著問(wèn)答系統(tǒng)涉及知識(shí)的廣度和深度不斷提高, 依賴于專家知識(shí)對(duì)管理規(guī)則的難度也大為提高。

2.1.2 無(wú)監(jiān)督文本表示

在缺少標(biāo)記數(shù)據(jù)的場(chǎng)景，我們可以利用算法對(duì)文本本身進(jìn)行表示，再利用常用的向量距離計(jì)算方法（如余弦距離，歐式距離等）進(jìn)行相似性度量。常見的無(wú)監(jiān)督文本表示方法主要可以分為兩種，一種是基于詞頻信息的方法，一種是基于詞向量的方法。

選擇單詞數(shù)N服從泊松分布，N~(β)。文檔θ服從狄利克雷分布，θ~Dir(α)。對(duì)于文檔內(nèi)N個(gè)單詞中的每個(gè)單詞 a. 選擇一個(gè)主題z，服從多項(xiàng)分布Mult(θ) b. 以概率p（w|z，β）生成單詞w，其中p（w|z，β）表示在主題z上的條件多項(xiàng)式概率。

2.1.3 用于跨領(lǐng)域遷移學(xué)習(xí)方法

2.2 有監(jiān)督匹配算法2.2.2 問(wèn)題意圖分類--深度學(xué)習(xí)多分類模型（CNN\DNN\LSTM\…）

2.2.2深度文本匹配模型

一般來(lái)說(shuō)，深度文本匹配模型分為兩種類型，表示型和交互型。

表示型模型

表示型模型更側(cè)重對(duì)表示層的構(gòu)建，它首先將兩個(gè)文本表示成固定長(zhǎng)度的向量，之后計(jì)算兩個(gè)文本向量的距離來(lái)衡量其相似度。這種模型的問(wèn)題是沒(méi)有考慮到兩個(gè)句子詞級(jí)別的關(guān)聯(lián)性。容易失去語(yǔ)義焦點(diǎn)。

模型DSSＭ 模型 Bert交互型模型

交互型模型認(rèn)為全局的匹配度依賴于局部的匹配度，在輸入層就進(jìn)行詞語(yǔ)間的先匹配醫(yī)療問(wèn)答系統(tǒng)，之后利用單詞級(jí)別的匹配結(jié)果進(jìn)行全局的匹配。它的優(yōu)勢(shì)是可以很好的把握語(yǔ)義焦點(diǎn)，對(duì)上下文重要性合理建模。由于模型效果顯著，業(yè)界都在逐漸嘗試交互型的方法。

模型ESIM （ LSTM）2.3 FAQ發(fā)現(xiàn)與優(yōu)化FAQ發(fā)現(xiàn)

將用戶問(wèn)句進(jìn)行聚類，對(duì)比已有的FAQ，發(fā)現(xiàn)并補(bǔ)足未覆蓋的知識(shí)點(diǎn)。將FAQ與知識(shí)點(diǎn)一一對(duì)應(yīng)。

FAQ拆分是當(dāng)一個(gè)FAQ里包含多個(gè)意圖或者說(shuō)多種情況的時(shí)候，YiBot后臺(tái)會(huì)自動(dòng)分析觸達(dá)率較高的FAQ，聚類FAQ對(duì)應(yīng)的問(wèn)句，按照意圖將其拆分開來(lái)。

最終希望希望用戶的每一個(gè)意圖能對(duì)應(yīng)到唯一的FAQ，這樣用戶每次提問(wèn)的時(shí)候醫(yī)療問(wèn)答系統(tǒng)，系統(tǒng)就可以根據(jù)這個(gè)意圖對(duì)應(yīng)的FAQ直接給出答案。而如果兩個(gè)FAQ意思過(guò)于相近，那么當(dāng)用戶問(wèn)到相關(guān)問(wèn)題時(shí)，就不會(huì)出現(xiàn)一個(gè)直接的回答，而是兩個(gè)意圖相關(guān)的推薦問(wèn)題，這樣用戶就要再進(jìn)行一步選擇操作。這時(shí)候YiBot就會(huì)在后臺(tái)同樣是分析觸達(dá)率較高的FAQ，分析哪一些問(wèn)句總是被推薦相同的答案，將問(wèn)句對(duì)應(yīng)的意圖合并。

分析歷史日志，采用淘汰機(jī)制淘汰廢棄知識(shí)點(diǎn)，如已下線業(yè)務(wù)知識(shí)點(diǎn)等。

FAQ答案優(yōu)化

如果機(jī)器人已經(jīng)正確識(shí)別意圖但最后仍然轉(zhuǎn)人工，說(shuō)明知識(shí)庫(kù)的答案不對(duì)，需要進(jìn)一步修正這一類知識(shí)點(diǎn)相對(duì)應(yīng)的答案。

比如在電商場(chǎng)景中，經(jīng)常會(huì)有查詢發(fā)貨到貨時(shí)間、訂單狀態(tài)等的場(chǎng)景。利用圖示指引、具體訂單處理等方式讓用戶操作更便捷。

3 產(chǎn)品案例產(chǎn)品1百度AnyQ-- Your

產(chǎn)品2:騰訊知文--結(jié)構(gòu)化FAQ問(wèn)答引擎

基于結(jié)構(gòu)化的FAQ的問(wèn)答引擎流程由兩條技術(shù)路線來(lái)解決

采用了三個(gè)層次的方法來(lái)實(shí)現(xiàn)快速檢索的方法

產(chǎn)品3:阿里小蜜

產(chǎn)品鏈接

意圖與匹配分層的技術(shù)架構(gòu)體系