智能客服系統(tǒng)需要有一個(gè)完備的評(píng)價(jià)體系去評(píng)價(jià)它的好壞，在我們的評(píng)價(jià)體系中有基于人工標(biāo)注的評(píng)價(jià)和基于用戶反饋的評(píng)價(jià)兩種方式：

基于人工標(biāo)注的評(píng)價(jià)

系統(tǒng)的回答能力受限于知識(shí)庫(kù)的豐富程度，因此并非能回答用戶的所有問題，系統(tǒng)的狀態(tài)是將能回答的全部回答準(zhǔn)確，不能回答的全部拒識(shí)，即拒絕回答。因此這里的評(píng)價(jià)指標(biāo)包括有結(jié)果率、拒識(shí)率、召回率和準(zhǔn)確率等，我們的目標(biāo)是讓系統(tǒng)的有結(jié)果率無(wú)限接近數(shù)據(jù)的真實(shí)有結(jié)果率，召回率和準(zhǔn)確率盡量高。這里我們是通過(guò)標(biāo)注標(biāo)準(zhǔn)評(píng)測(cè)集來(lái)計(jì)算系統(tǒng)的各項(xiàng)指標(biāo)，我們會(huì)從每日的全量數(shù)據(jù)集中抽樣出一個(gè)小數(shù)據(jù)集，保證小數(shù)據(jù)集的數(shù)據(jù)分布盡量符合全量數(shù)據(jù)集，然后由標(biāo)注團(tuán)隊(duì)對(duì)數(shù)據(jù)集做標(biāo)注，標(biāo)注出每個(gè)問題的實(shí)際答案，一般標(biāo)注完成后還有質(zhì)檢的環(huán)節(jié)，以保證標(biāo)注結(jié)果盡量準(zhǔn)確，這樣便生成了每日數(shù)據(jù)的標(biāo)準(zhǔn)評(píng)測(cè)集?；谠摌?biāo)準(zhǔn)評(píng)測(cè)集我們會(huì)去評(píng)價(jià)系統(tǒng)的好壞，并且每次做新模型迭代時(shí)都會(huì)使用標(biāo)準(zhǔn)評(píng)測(cè)集去評(píng)價(jià)新模型，只有新模型的效果好了才允許上線。

基于用戶反饋的評(píng)價(jià)

人工評(píng)價(jià)能夠評(píng)價(jià)智能客服系統(tǒng)的準(zhǔn)確率，但是答案是否合理，能否為用戶解決問題，需要用戶去反饋評(píng)價(jià)，整個(gè)智能客服系統(tǒng)的終目標(biāo)是幫助用戶解決問題。我們會(huì)在產(chǎn)品上設(shè)計(jì)智能客服和在線客服的評(píng)價(jià)功能，例如會(huì)讓用戶評(píng)價(jià)智能客服的每個(gè)答案或者某次會(huì)話，在和人工客服聊天完畢會(huì)發(fā)送評(píng)價(jià)卡片給用戶去評(píng)價(jià)滿意度。終我們會(huì)統(tǒng)計(jì)參評(píng)比例、滿意度等指標(biāo)，這些指標(biāo)能夠真正反應(yīng)智能客服系統(tǒng)的好壞。實(shí)際中往往用戶參評(píng)比例低，我們會(huì)使用各種方法去刺激用戶評(píng)價(jià)。

一個(gè)完整的智能客服系統(tǒng)，需要用到電話交換、語(yǔ)音識(shí)別、語(yǔ)音合成、話術(shù)交互等多方面的技術(shù)。如果不想專注那么多細(xì)節(jié)，集成商也可以直接使用中間層產(chǎn)品，例如朗深電話AI中間件等，這些產(chǎn)品都提供了豐富的接口，可以幫助集成商快速將電話機(jī)器人集成到自己的業(yè)務(wù)應(yīng)用。

朗深推出的“AI智能呼叫中心升級(jí)套件”，能在現(xiàn)有呼叫中心不做代碼級(jí)修改的情況下，輕松實(shí)現(xiàn)基于AI人工智能的 智能呼叫中心功能，包括智能客服機(jī)器人、 智能質(zhì)檢等，是對(duì)現(xiàn)有智能客服系統(tǒng)升級(jí)的選擇。