未來世界,將是人機協(xié)作的世界。所有創(chuàng)新都需要從人的角度出發(fā),而人機交互與協(xié)作技術也必須迎合和滿足用戶的需求,讓人更方便快捷地完成任務。如今,我們正處于從人機交互向人機協(xié)作邁進的階段——人機交互是人與計算機通過輸入與輸出設備進行溝通對話;人機協(xié)作則是建立在人機交互基礎之上,讓人和計算機通過優(yōu)勢互補,去共同完成任務。
從信號交互到“心領神會”
不知道是巧合還是有意設計,人機交互方式的演變與升級,完美復現(xiàn)了人類從嬰幼兒到少年,再到成人的交互方式。這一發(fā)展過程可以大致分為四個階段。
第一階段是手眼協(xié)同交互。在人類嬰幼兒階段,還未學會開口說話之時,總習慣用眼睛來觀察,然后用手指指戳戳,來表達自己的意圖,或者與其他人進行溝通。類似地,計算機交互的首次大規(guī)模應用,也得益于圖形界面與鼠標、鍵盤的問世,人們可以通過手指操控這樣一套輸入輸出設備,與計算機進行溝通。這一階段,人機交互基本是無聲的。
第二階段是基于語言和對話的交互。人類學會說話之后,會不斷地學習,然后慢慢掌握一門甚至多門語言,不斷提高自己的聽說讀寫能力,而與更多的人進行更流暢的溝通。同理,語音識別技術以及自然語言處理技術的快速發(fā)展,使得計算機也可以聽懂,并在一定程度上理解人類的語言,從而幫助人類完成某些操作。例如,手機語音助理軟件、智能汽車的車載語音助理、家用智能音箱等產(chǎn)品的廣泛使用,已經(jīng)證明了這一技術的成功。
第三階段是引入、融合眼神等生物信號的交互技術。成年人之間的默契往往不需要語言,“察言觀色”便可領會彼此的意圖。此類人機交互技術的標志性產(chǎn)品已于2024年上市——一種增強現(xiàn)實AR頭盔,結(jié)合虛擬現(xiàn)實VR技術,通過組合多個攝像頭和傳感器,進行眼球追蹤,然后提取眼球的特征信息來監(jiān)測眼動的變化,從而控制頭盔內(nèi)虛擬屏幕上的光標定位,最后結(jié)合手勢、語音等,完成在屏幕上的相關操作。假設人類目光所及的位置通常與思考的事物有關,那么,該技術就有可能通過眼動,讓機器推斷出人正在關注和思考的部分內(nèi)容。
第四階段則是一種基于意念感知的交互方式——“心領神會”,即通過非言語的方式傳達信息和理解對方的意圖。這也將成為未來人機交互技術發(fā)展的必經(jīng)階段。一種可能的實現(xiàn)方式是腦機接口交互技術,目前該技術還處于科學研究階段。國外某公司于2024年向公眾展示了首個產(chǎn)品“心靈感應”(Telepathy),即通過手術等方式,直接將電極植入到受試者的大腦皮層,以獲得高質(zhì)量的神經(jīng)信號。展示中,首位接受腦機接口設備植入的患者,可以借助該設備移動計算機光標。同時,國內(nèi)也有研究團隊成功將無線微創(chuàng)半侵入式腦機接口,植入了兩名癱瘓患者的顱內(nèi),成功采集到感覺運動腦區(qū)神經(jīng)信號,使兩位患者實現(xiàn)了自主腦控喝水,并成功用腦電信號控制電腦光標移動。但是,腦機接口的植入物需要替換一塊頭骨,因此,采用該技術仍然存在一定的倫理和社會問題。
人機協(xié)作為人機交互賦能
人機協(xié)作是建立在成熟的人機交互手段之上的智能技術,以達到人機協(xié)同完成任務的目的,一般可以分為人類單向指揮機器和人機雙向合作兩種模式。
單向指揮的人機協(xié)作模式,往往依賴于人通過傳統(tǒng)的交互方式指揮機器完成一些重復性操作。例如,人類通過簡單的指令或者多輪對話,基于鼠標鍵盤等傳統(tǒng)交互手段,使用大模型讓機器完成一些簡單的創(chuàng)作(生成文本、圖片、視頻)。但是,普通用戶并不精通如何對機器發(fā)號施令,會浪費大量時間去配合機器。如對大模型輸入提示詞進行設置,然后瀏覽機器返回的內(nèi)容,這些內(nèi)容很可能無法達到人類的要求。此外,通過聲音、眼神、表情等信號,基于更先進的人機交互技術,人類可以遠程控制手機或者智能家居設備完成操作。
人機雙向合作往往采用語音等多模態(tài)信號,但普遍存在指令不清晰、機器無法完成預計指令效果等問題。如智能音箱有時聽不懂或者發(fā)生識別錯誤,導致人類需要不斷重復指令卻沒有提升效果。在這種模式下,機器收到人類的指令信號后,試圖完成相關任務,并將結(jié)果展現(xiàn)給人類;如果人類不滿意,就需要多次重復前述的交互過程,直到任務圓滿完成,或者因不滿意而放棄,不再繼續(xù)。
筆者認為,雖然還面臨諸多難題,但雙向合作的人機協(xié)作模式將會是未來的發(fā)展方向,而如何實現(xiàn)人機協(xié)作優(yōu)勢互補,而不是單向指揮,是新一代人機協(xié)作技術需要解決的難題。
雙向合作的人機協(xié)作模式主要依賴于兩種能力,一種是機器能否真正理解人類指令的能力,另一種是機器適當?shù)嘏c人類配合,幫助我們完成任務。后一種模式需要借助更高級的人機交互技術。
人機協(xié)作共同創(chuàng)作的場景,可以幫助我們理解這種模式。人類有天馬行空的巧思,機器則善于快速完成重復性工作。當人和機器共創(chuàng)一篇文章、一幅畫作時,人類可以在關鍵段落、關鍵局部進行創(chuàng)造性構(gòu)思,而機器可以瞬間領會人類的意圖,幫其完成其他部分。進一步地,當人和機器共同執(zhí)行多個復雜的、包含一定隨機性的決策任務時,人類可以在關鍵時間節(jié)點對關鍵信息進行判斷,而機器可以在領會人類意圖的基礎上,在短時間內(nèi)完成其他操作,同時檢查決策中的一些漏洞和錯誤,還可以總結(jié)和梳理決策后的反饋信息,以供后續(xù)決策參考。在這一過程中,是人類的思路和在關鍵節(jié)點的操作,帶著機器協(xié)同推進完成任務,而不是像單向指揮模式那樣,將所有任務一股腦丟給機器去自主完成。
人機交互如何升級到人機協(xié)作
人機交互技術只是人機協(xié)作的底層溝通手段,還需要定義與設計在特定或通用任務中,人與機器的動作空間(即人和機器分別可以做哪些動作),人與機器操作對象空間(即人和機器所做動作的對象有哪些),以及學習算法(即機器正確理解人的操作的算法)。
打個比方,人在一個特定環(huán)境中(如廚房),其動作空間、操作對象空間,都是相對固定的,所能完成的任務也是有限的。在這個環(huán)境中,無論是特定的任務,還是通用的開放式任務,人機協(xié)作應是有章可循的——我們不允許機器脫離人類可控的范疇,進行超出權(quán)限或違規(guī)的操作。因此,機器人需要學習算法,才能夠真正看懂、聽懂、理解人類的操作,去實現(xiàn)真正的雙向合作模式的人機協(xié)作。
進一步,更加復雜的任務需要多人、多機協(xié)作技術,這將涉及任務的分工、管理與執(zhí)行,考驗人類對人機交互與協(xié)作系統(tǒng)的設計與理解,畢竟大多數(shù)任務是由人類發(fā)起的。
例如,在復雜系統(tǒng)監(jiān)測任務中,面臨海量的樣本數(shù)據(jù),機器可以幫助人類快速篩選出可能的預警樣本,而人類需要對篩選出的預警樣本做最后的決策,人類甚至可以將一部分簡單的決策工作交給機器去執(zhí)行。但是,如何定義預警樣本的篩選標準,以及如何在多人和多個機器之間劃分決策工作的比例,將關系到整個任務執(zhí)行的準確率和人工成本。試想,如果一個任務,多人協(xié)作都無法妥善完成,那么多人、多機協(xié)作是否可以勝任?所以,新一代人機協(xié)作技術除了定義上述動作空間、操作對象空間、學習算法之外,還需要有一套標準化的流程,以便自動對復雜任務進行理解與分工,在保證任務執(zhí)行準確率的前提下減少對人工的依賴。
最后,即使完成了人機協(xié)作分工,仍面臨其他諸多挑戰(zhàn)。第一,機器不會懈怠,但人不一定一直是合格的協(xié)作者。那么,機器是否還需要反過來監(jiān)測人類的協(xié)作質(zhì)量,并在需要的時候,做出適當?shù)难a充?第二,當機器一旦可以部分或者完全替代人類工作的時候,人類是否具備足夠的能力控制機器,以防機器擁有自主智能之后犯錯,甚至作惡?第三,人機協(xié)作還會涉及數(shù)據(jù)隱私泄露的問題,特別是在復雜任務中,機器會存在被動泄露數(shù)據(jù)的風險。已有的研究證明,使用大模型過程中,會出現(xiàn)因為數(shù)據(jù)“投喂”不當,造成敏感數(shù)據(jù)泄露等問題。
這些問題還沒有答案,但我們不能裹足不前,而是要在發(fā)展中解決問題。我們堅信,未來的人機交互會更流暢更便捷!
(作者:邊凱歸,系北京大學計算機學院研究員)
北疆新聞:內(nèi)蒙古自治區(qū)重點新聞網(wǎng)站(客戶端),內(nèi)蒙古出版集團新華報業(yè)中心旗下國家互聯(lián)網(wǎng)新聞信息采編發(fā)布服務一類資質(zhì)網(wǎng)站(客戶端)。
北疆新聞版權(quán)與免責聲明:
一、凡本站中注明“來源:北疆新聞”的所有文字、圖片和音視頻,版權(quán)均屬北疆新聞所有,轉(zhuǎn)載時必須注明“來源:北疆新聞”,并附上原文鏈接。
二、凡來源非北疆新聞的新聞(作品)只代表本網(wǎng)傳播該消息,并不代表贊同其觀點。
如因作品內(nèi)容、版權(quán)和其它問題需要同本網(wǎng)聯(lián)系的,請在見網(wǎng)后30日內(nèi)進行,聯(lián)系郵箱:bjwmaster@163.com。
版權(quán)聲明:北疆新聞版權(quán)所有,未經(jīng)書面授權(quán),不得轉(zhuǎn)載或建立鏡像,違者依法必究。 本站違法和不良信息舉報電話:15648148811蒙ICP備16001043號-1
Copyright © 2016- 北疆新聞網(wǎng) All Rights Reserved互聯(lián)網(wǎng)新聞信息服務許可證:15120200009-1蒙公網(wǎng)安備:15010502001245