作者：中國(guó)工商銀行軟件開(kāi)發(fā)中心高級(jí)專(zhuān)家 劉承巖

情感計(jì)算顧名思義是對(duì)情感的感知、理解和表達(dá)，是融合計(jì)算機(jī)科學(xué)、心理學(xué)等多個(gè)領(lǐng)域的綜合性研究，對(duì)于提升計(jì)算機(jī)的理解和表達(dá)能力有著重要意義。相關(guān)研究表明，多模態(tài)是未來(lái)數(shù)據(jù)形式和人工智能技術(shù)發(fā)展的大趨勢(shì)，在表情、語(yǔ)音、姿態(tài)、語(yǔ)義等多元信息互補(bǔ)的激勵(lì)下，能夠更加準(zhǔn)確地識(shí)別情感目標(biāo)。隨著銀行數(shù)字化轉(zhuǎn)型進(jìn)程推進(jìn)，如何不斷提升服務(wù)水平、防控金融風(fēng)險(xiǎn)，一直是銀行業(yè)共同探索的問(wèn)題。多模態(tài)情感計(jì)算的發(fā)展與應(yīng)用，將成為解決上述問(wèn)題的一大利器。

一、多模態(tài)情感計(jì)算發(fā)展現(xiàn)狀及趨勢(shì)

多模態(tài)情感計(jì)算主要專(zhuān)注于信息之間的融合與交互，根據(jù)融合策略不同，有決策級(jí)融合與特征級(jí)融合兩種主要技術(shù)路徑。決策級(jí)融合即對(duì)單獨(dú)學(xué)習(xí)好的各模態(tài)信息進(jìn)行直接融合，最簡(jiǎn)單的方法是分別實(shí)現(xiàn)微表情識(shí)別、語(yǔ)音情感識(shí)別與文本情感識(shí)別，再對(duì)識(shí)別結(jié)果進(jìn)行簡(jiǎn)單加權(quán)。特征級(jí)融合是在單個(gè)模態(tài)學(xué)習(xí)過(guò)程加入模態(tài)之間的交互，動(dòng)態(tài)補(bǔ)充模態(tài)中缺少的信息。

目前決策級(jí)融合在業(yè)界應(yīng)用相對(duì)成熟，實(shí)現(xiàn)難度低，效果基本滿(mǎn)足預(yù)期。特征級(jí)融合對(duì)于模態(tài)的信息學(xué)習(xí)更充分，準(zhǔn)確率相較決策級(jí)融合有較大提升，但目前暫未有相關(guān)軟件產(chǎn)品，仍處于學(xué)術(shù)研究階段。

隨著多模態(tài)大模型技術(shù)日趨火熱，運(yùn)用大模型執(zhí)行情感計(jì)算任務(wù)也成為當(dāng)下的研究熱點(diǎn)，其解決方案為通過(guò)自監(jiān)督的方式對(duì)海量無(wú)標(biāo)注數(shù)據(jù)進(jìn)行學(xué)習(xí)，再面向特定場(chǎng)景進(jìn)行少量數(shù)據(jù)的標(biāo)注學(xué)習(xí)及微調(diào)。多模態(tài)大模型對(duì)數(shù)據(jù)依賴(lài)較低，泛化能力強(qiáng)，還可以與視覺(jué)大模型、語(yǔ)言大模型等其他模型相結(jié)合，例如在當(dāng)下最熱門(mén)的GPT模型融入情感計(jì)算，使該模型在理解和表達(dá)上更加人性化，在視覺(jué)大模型中加入情感識(shí)別則可以在風(fēng)控、安防等領(lǐng)域發(fā)揮積極作用。然而，現(xiàn)階段大模型也存在一定短板，如對(duì)前期訓(xùn)練成本和算力要求非常高，模型龐大的體量也會(huì)影響其拓展性與應(yīng)用的靈活性，部署難度加大等。

目前在金融行業(yè)，也有多家銀行積極布局基于微表情、自然語(yǔ)言的單模態(tài)情緒識(shí)別或決策級(jí)多模態(tài)情緒識(shí)別產(chǎn)品，主要應(yīng)用方向?yàn)榉?wù)質(zhì)量評(píng)價(jià)及遠(yuǎn)程面審反欺詐，隨著多模態(tài)情感計(jì)算日趨成熟，未來(lái)將在銀行業(yè)更多場(chǎng)景發(fā)揮作用。

二、在銀行業(yè)的應(yīng)用前景

1.多模態(tài)情感計(jì)算運(yùn)用不同數(shù)據(jù)源可賦能不同類(lèi)型業(yè)務(wù)。從服務(wù)渠道來(lái)說(shuō)，不同于目前相對(duì)成熟的文本情感識(shí)別與微表情情感識(shí)別，多模態(tài)情感計(jì)算可通過(guò)不同模態(tài)之間的組合靈活適配音視頻通話(huà)、電話(huà)語(yǔ)音與文字交互等需求，擺脫對(duì)某一固定服務(wù)類(lèi)型的限制。此外，音視頻服務(wù)常常受到網(wǎng)絡(luò)波動(dòng)影響出現(xiàn)畫(huà)面不穩(wěn)定，導(dǎo)致缺少關(guān)鍵幀無(wú)法識(shí)別情感的狀況，多模態(tài)情感計(jì)算對(duì)語(yǔ)音與語(yǔ)義的融合分析能夠較好地維持情感識(shí)別的穩(wěn)定性。

從交互方式來(lái)說(shuō)，多模態(tài)情感計(jì)算可融入人人交互、人機(jī)交互，以及在元宇宙等虛擬空間的虛擬身份間交互。及時(shí)感知客戶(hù)情感反饋對(duì)銀行提升服務(wù)體驗(yàn)至關(guān)重要，當(dāng)前各家銀行都在大力發(fā)展7×24小時(shí)智能自助服務(wù)，由于缺少服務(wù)人員人工介入，更需要依賴(lài)人工智能系統(tǒng)了解客戶(hù)滿(mǎn)意度，及時(shí)發(fā)現(xiàn)系統(tǒng)存在的不足并改進(jìn)。

2.多模態(tài)情感計(jì)算輔助判斷客戶(hù)真實(shí)意圖。無(wú)論是對(duì)業(yè)務(wù)辦理過(guò)程中表現(xiàn)出的正面與負(fù)面情緒，或是在審核、調(diào)查等過(guò)程中出現(xiàn)的明顯情緒波動(dòng)，通過(guò)融合心理學(xué)上的情感映射，都可以一定程度展現(xiàn)客戶(hù)當(dāng)前的真實(shí)意圖，從而為服務(wù)人員或?qū)徍巳藛T的決策提供參考。真實(shí)意圖判斷在對(duì)客營(yíng)銷(xiāo)、服務(wù)評(píng)價(jià)、盡職調(diào)查、催收、反欺詐等領(lǐng)域能夠發(fā)揮重要作用。結(jié)合客戶(hù)畫(huà)像，在業(yè)務(wù)環(huán)節(jié)運(yùn)用多模態(tài)情感計(jì)算對(duì)客戶(hù)的意圖、行為等進(jìn)行預(yù)測(cè)，可實(shí)現(xiàn)精準(zhǔn)營(yíng)銷(xiāo)、個(gè)性化定制化服務(wù)，同時(shí)為金融安全保駕護(hù)航。

3.基于多模態(tài)情感計(jì)算的情感生成。隨著金融數(shù)字化轉(zhuǎn)型深入推進(jìn)，商業(yè)銀行均在積極布局各種形態(tài)的智能服務(wù)，包含智能文字客服、智能外呼、數(shù)字人等。無(wú)論在文本生成、語(yǔ)音合成還是數(shù)字人交互過(guò)程中，有情感有溫度的回應(yīng)將會(huì)給用戶(hù)帶來(lái)更優(yōu)質(zhì)的服務(wù)體驗(yàn)。除了及時(shí)應(yīng)對(duì)客戶(hù)當(dāng)前的情緒波動(dòng)提供對(duì)應(yīng)的安撫或激勵(lì)外，還可以結(jié)合客戶(hù)畫(huà)像特征實(shí)現(xiàn)不同的情感表達(dá)。例如面對(duì)老人、兒童、不同性別的客戶(hù)，采取不同的數(shù)字人形象與講話(huà)方式，或是參考客戶(hù)聊天習(xí)慣，創(chuàng)建與客戶(hù)“更聊得來(lái)”的智能客服。

三、在銀行業(yè)的典型應(yīng)用案例

基于以上對(duì)多模態(tài)情感計(jì)算特點(diǎn)的分析，可以看出情感計(jì)算在銀行業(yè)各領(lǐng)域大有可為。現(xiàn)如今銀行業(yè)正不斷擴(kuò)充服務(wù)邊界，多模態(tài)情感計(jì)算適用于網(wǎng)點(diǎn)、音視頻、自助服務(wù)等各類(lèi)服務(wù)渠道，在內(nèi)部人員管理、精準(zhǔn)營(yíng)銷(xiāo)、風(fēng)險(xiǎn)防控等領(lǐng)域擁有豐富的創(chuàng)新應(yīng)用場(chǎng)景?，F(xiàn)階段，銀行業(yè)可以考慮在傳統(tǒng)業(yè)務(wù)中融合情感計(jì)算，實(shí)現(xiàn)客戶(hù)滿(mǎn)意度調(diào)研、輔助風(fēng)控等。未來(lái)，隨著新技術(shù)的不斷發(fā)展成熟，可開(kāi)拓新一代銀行服務(wù)模式，例如基于大模型多輪對(duì)話(huà)+情感計(jì)算的AI智能服務(wù)、元宇宙+情感計(jì)算的多元交互等。在此具體分析情感計(jì)算應(yīng)用的幾個(gè)典型案，供銀行同業(yè)交流參考。

1.多模態(tài)情感計(jì)算實(shí)現(xiàn)對(duì)音視頻、電話(huà)、線(xiàn)下等渠道的人工服務(wù)監(jiān)督評(píng)價(jià)。在服務(wù)過(guò)程中感知到客戶(hù)出現(xiàn)憤怒等負(fù)面情緒時(shí)，及時(shí)通知主管人員介入處理，或?qū)崟r(shí)監(jiān)測(cè)銀行服務(wù)人員的異常情緒，監(jiān)督規(guī)避違規(guī)操作，降低糾紛。在服務(wù)完成后，多模態(tài)情感計(jì)算替代客戶(hù)對(duì)服務(wù)打分評(píng)價(jià)，減少客戶(hù)操作，獲取較為真實(shí)的客戶(hù)反饋。在事后質(zhì)檢中加入情感質(zhì)檢，實(shí)現(xiàn)對(duì)內(nèi)部人員管理考核，提升服務(wù)合規(guī)水平。

2.多模態(tài)情感計(jì)算輔助銀行人工智能系統(tǒng)改進(jìn)提升。當(dāng)前手機(jī)銀行服務(wù)配置有語(yǔ)音搜索、語(yǔ)音指令控制等功能，以方便老年人群等客戶(hù)操作。通過(guò)判斷是否重復(fù)多次發(fā)出語(yǔ)音指令，以及語(yǔ)音中是否帶有負(fù)面情緒，幫助銀行了解客戶(hù)使用系統(tǒng)的便捷度，并加以改進(jìn)。在智能文字客服、智能語(yǔ)音外呼及數(shù)字人等自助服務(wù)過(guò)程中，客戶(hù)在文字、語(yǔ)音中出現(xiàn)的異常情緒也為銀行智能服務(wù)的改進(jìn)提升提供依據(jù)。

3.多模態(tài)情感計(jì)算助力金融業(yè)務(wù)反欺詐。在信貸面審、信用卡盡職調(diào)查等場(chǎng)景，結(jié)合特定話(huà)術(shù)、問(wèn)題等，捕捉情緒異常波動(dòng)，為客戶(hù)經(jīng)理判斷客戶(hù)是否存在隱瞞、欺詐風(fēng)險(xiǎn)提供參考。在轉(zhuǎn)賬匯款等業(yè)務(wù)辦理過(guò)程中，判斷客戶(hù)特別是老年客戶(hù)群體是否存在緊張、恐懼等情緒，結(jié)合視頻智能分析等技術(shù)，例如操作過(guò)程中是否有人代操作、或邊打電話(huà)邊操作等動(dòng)作，及時(shí)阻止可能出現(xiàn)的詐騙案件。

4.多模態(tài)情感計(jì)算實(shí)現(xiàn)對(duì)客服、催收等高流動(dòng)性崗位人員的智能培訓(xùn)及測(cè)評(píng)。通過(guò)軟件模擬不同業(yè)務(wù)場(chǎng)景下的客戶(hù)訴求，由參訓(xùn)人員進(jìn)行應(yīng)答，在應(yīng)答過(guò)程中檢測(cè)其情緒是否符合崗位要求。受訓(xùn)人員可自行反復(fù)多次訓(xùn)練，也可以通過(guò)該方式開(kāi)展培訓(xùn)結(jié)業(yè)考試等。用自動(dòng)化訓(xùn)練替代傳統(tǒng)人工培訓(xùn)中需要依賴(lài)導(dǎo)師的重復(fù)性訓(xùn)練，大幅節(jié)約師資成本與人力資源。

四、多模態(tài)情感計(jì)算應(yīng)用展望與建議

多模態(tài)情感計(jì)算對(duì)銀行業(yè)提升服務(wù)質(zhì)量與安全性有著廣泛的應(yīng)用前景，在對(duì)客服務(wù)、運(yùn)營(yíng)管理、產(chǎn)品營(yíng)銷(xiāo)、風(fēng)險(xiǎn)防控等領(lǐng)域都能夠發(fā)揮重要作用，還能夠與元宇宙、智能網(wǎng)點(diǎn)、數(shù)字人等新興技術(shù)相結(jié)合，實(shí)現(xiàn)智能服務(wù)提升，但該技術(shù)在發(fā)展與推廣過(guò)程中仍面臨一定挑戰(zhàn)。

一是目前仍缺少充足且準(zhǔn)確的標(biāo)注數(shù)據(jù)，尤其是銀行業(yè)務(wù)種類(lèi)繁多，不同的業(yè)務(wù)類(lèi)型具有不同的情緒傾向和話(huà)術(shù)特征，因此每適配一個(gè)新的場(chǎng)景都需要投入大量的人力資源進(jìn)行數(shù)據(jù)標(biāo)注與訓(xùn)練，且人工標(biāo)注暫時(shí)還沒(méi)有統(tǒng)一的方法和標(biāo)準(zhǔn)可以驗(yàn)證其標(biāo)注準(zhǔn)確性，會(huì)導(dǎo)致實(shí)際應(yīng)用中識(shí)別準(zhǔn)確率不達(dá)預(yù)期。二是心理學(xué)領(lǐng)域關(guān)于情緒和意圖的研究仍處于發(fā)展階段，情緒與意圖之間并非簡(jiǎn)單的一對(duì)一映射，即使捕捉到人的情緒異常，仍不能保證了解其真實(shí)意圖。三是情感計(jì)算涉及客戶(hù)視頻資料的獲取和分析，在個(gè)人隱私保護(hù)要求日益嚴(yán)格的大環(huán)境下，如何在保護(hù)客戶(hù)權(quán)益的前提下合理運(yùn)用情感計(jì)算技術(shù)，也是銀行業(yè)急需思考的問(wèn)題。

因此，現(xiàn)階段銀行在應(yīng)用多模態(tài)

情感計(jì)算時(shí)，建議先在小范圍開(kāi)展試點(diǎn)，通過(guò)充足的脫敏標(biāo)注數(shù)據(jù)進(jìn)行模型調(diào)優(yōu)，定期對(duì)算法模型進(jìn)行升級(jí)和優(yōu)化。在試點(diǎn)過(guò)程中，還要注意客戶(hù)信息采集告知授權(quán)、數(shù)據(jù)傳輸與存儲(chǔ)過(guò)程加密、算法模型的私有化部署等，保證客戶(hù)信息安全。此外，銀行業(yè)還要加強(qiáng)與頭部企業(yè)、高校等機(jī)構(gòu)在計(jì)算機(jī)領(lǐng)域與心理學(xué)領(lǐng)域的合作，持續(xù)關(guān)注國(guó)內(nèi)外業(yè)界與學(xué)界的最新技術(shù)發(fā)展。

本文來(lái)源：微信公眾號(hào)《金融電子化》

免責(zé)聲明：所載內(nèi)容來(lái)源互聯(lián)網(wǎng)、微信公眾號(hào)等公開(kāi)渠道，我們對(duì)文中觀點(diǎn)保持中立，僅供參考、交流等非商業(yè)目的。轉(zhuǎn)載的稿件版權(quán)歸原作者和機(jī)構(gòu)所有，如有侵權(quán)，請(qǐng)聯(lián)系我們刪除。