科技行者讓AI與人類的價值觀保持一致,怎么就這么難?

讓AI與人類的價值觀保持一致,怎么就這么難?

讓AI與人類的價值觀保持一致,怎么就這么難?

讓AI與人類的價值觀保持一致,怎么就這么難?

2021年2月4日 14:23:53 科技行者
  • 分享文章到微信

    掃一掃
    分享文章到微信

  • 關注官方公眾號-科技行者

    掃一掃
    關注官方公眾號
    科技行者

經過六十年的研發,讓AI系統在目標、意圖與價值觀層面與人類保持統一,仍是個遙不可及的目標。

來源:科技行者 2021年2月4日 14:23:53

關鍵字:AI 價值觀

幾十年以來,我們一直在努力按自己的形象開發出人工智能。在此期間,我們也始終致力于創造一種既像人類一樣睿智、又像人類一樣愚蠢的機器。 

但經過六十年的研發,讓AI系統在目標、意圖與價值觀層面與人類保持統一,仍是個遙不可及的目標。AI幾乎已經在各個主要領域達到與人類智能相近、甚至更高的水平,但又總是在最核心的范疇內有所欠缺。正是這種欠缺,導致AI技術無法成為我們所期望的、真正擁有更改及行事邏輯的智能主體。 

程序員兼研究員Brian Christian在最新著作《機器學習與人類價值觀之間的一致性問題》(The Alignment Problem: Machine Learning and Human Value)當中,討論了我們該怎樣確保AI模型能夠捕捉到“我們的規范與價值觀,理解我們的意思或意圖,并據此做出優先級判斷”這一現實挑戰。近年來,隨著機器學習應用范圍的逐步推廣,在實際領域中做出錯誤決策很可能帶來災難性的后果。正是這樣的背景,讓Christian提出的問題變得愈發緊迫。 

根據Christian所述,“隨著機器學習系統的日益普及與功能的逐步增強,我們開始變得像「新手巫師」——我們掌握著一種具有自主性的力量,我們似乎可以用指令引導這種力量,但如果指示不夠準確或不夠完整,就有可能引發某些可怕且超出意料的后果。” 

在書中,Christian全面描述了人工智能的現狀以及整個發展歷程,同時探討了現有AI創建方法的種種缺陷。 

下面來看書中的幾大要點。 

讓AI與人類的價值觀保持一致,怎么就這么難?

機器學習:將輸入映射至輸出 

在AI研究的前幾十年中,符號系統在解決以往涉及邏輯推理的復雜問題時,取得了舉世矚目的成就。然而,這類系統反而很難解決人類兒童就能處理的小問題——例如檢測物體、識別人臉、理解聲音與語音。此外,這類系統的可擴展性也比較差,往往需要大量人工介入以建立明確的規則與知識定義。 

最近,全世界對機器學習與深度學習的關注開始快速增長,同時也推動著計算機視覺、語音識別與自然語言處理等領域(傳統符號AI無法處理的領域)的迅猛發展。機器學習算法可以跟隨數據量與計算資源同步擴展,借此帶來了人工智能的黃金十年。 

但問題在于,機器學習算法的效果雖然相當突出,但本質卻仍然簡陋——將觀察結果通過復雜的數學函數與結果映射起來。因此,機器學習的質量將直接由數據質量決定,而且會在實際應用并接觸到與訓練數據不符的真實素材時,產生嚴重的性能下降。 

在書中,Christian列舉了一系列實例,闡述機器學習算法遭遇的各種尷尬、甚至具有危害性的破壞。以Google Photos分類算法為例,該算法會將皮膚黝黑的人標記為大猩猩。問題不在算法本身,而在于所使用的訓練數據。如果谷歌能夠在數據集中納入更多皮膚黝黑的素材,完全可以避免這個問題。 

Christian寫道,“當然,從理論上講,這類系統可以從一組示例中學到任何知識。但這也意味著AI系統的理解方式完全受示例左右。” 

更糟糕的是,機器學習模型無法分辨對錯,也無法做出道德決策。機器學習模型的訓練數據中存在的任何問題,通常都會以極細微、甚至根本無法察覺的方式反映在模型行為當中。例如,Amazon于2018年關閉了用于做出雇用決策的機器學習工具,因為其決策結果明顯歧視女性。很明顯,AI的創造者并不希望根據性別來選擇候選人,但由于模型訓練使用的數據來自Amazon公司的過往記錄,因此反映出了其用人方面的某些傾向。 

這還只是機器學習模型偏見問題中的冰山一角。正是由于存在這些問題,由于機器學習模型會盲目根據我們以往的行為總結經驗,才讓我們無法充分信任這類工具。 

Christian寫道,“對真實世界建模相對簡單,但模型在付諸使用后總會出現種種變化,甚至反過來改變這個世界。目前大部分機器學習模型在設計當中存在一種廣泛假設,即模型本身不會改變其建模所依據的現實。但這種假設幾乎完全站不住腳。實際上,草率部署這類模型很可能會產生反饋循環,導致我們越來越難以將其扳回正軌。” 

對于數據收集、模式查找以及將模式轉化為行動等層面,人類智能應該發揮更大的作用。機器學習的現實挑戰已經證明,我們對于數據乃至機器學習的很多假設性認識完全是錯的。 

Christian警告稱,“我們需要作出批判性思考……除了重視訓練數據的來源,還應重視系統中作為基本事實的標簽來源。人們認為的基本事實,往往并不是基本事實。” 

讓AI與人類的價值觀保持一致,怎么就這么難?

強化學習:獎勵最大化 

強化學習同樣幫助研究人員實現了非凡的成就,使得AI能夠在復雜的電子游戲中擊敗人類冠軍。 

過去十年以來,作為AI技術的另一大分支,強化學習同樣獲得了廣泛關注。強化學習要求為模型提供問題空間加獎勵函數規則,之后就由模型自主探索整個空間,找出能夠實現獎勵最大化的方法。 

Christian寫道,“強化學習……幫助我們一步步探索著智能的普遍、甚至是最本質的定義。如果說John McCarthy提出的「智能是實現真實目標的能力中的計算部分」的說法真實可靠,那么強化學習相當于提供了一套驚人的通用型工具箱。它的核心機理就是在一次又一次試錯當中,摸索出新時代下一切人工智能方案的共通基礎。” 

強化學習確實在雅達利游戲、圍棋、《星際爭霸2》以及DOTA 2等游戲中表現出色,并在機器人技術領域得到廣泛應用。但成功的背后人們也開始意識到,單純追求外部獎勵并不能完全體現智能的運作方式。 

一方面,強化學習模型需要漫長的訓練周期才能得出簡單的判斷能力。因此,這方面研究成為極少數掌握無窮資源的科技巨頭的專利。另外,強化學習系統的適用性也非常有限——能夠在《星際爭霸2》中擊敗人類世界冠軍的系統,卻無法在其他類似的游戲中觸類旁通。強化學習代理也更傾向于通過無止境的循環,以犧牲長期目標的方式追求最簡單的獎勵最大化路徑。以賽車游戲AI為例,它經常會陷入不斷收集獎勵物品的死循環,卻總是贏不下整場比賽。 

Christian認為,“消除這種與外部獎勵的硬性聯系,可能才是構建通用型AI的訣竅所在。因為與雅達利游戲不同,真實生活并不會為我們的每種行為預先設定明確的實時反饋。當然,我們有父母、有老師,他們可以及時糾正我們的拼寫、發音和行為模式。但是,這些并不是人生的全部,我們的生活不可能由權威所全面掌控。我們需要根據自己的觀點與立場做出判斷,這也正是人類族群得以存續發展的根本前提。” 

Christian還建議,不妨根據強化學習的原理反其道而行之,“結合預期行為考慮如何構建環境獎勵,引導模型一步步掌握行為模式。這就像是面對美食評論家做出一份份食物,思考如何才能獲得對方的肯定。”

讓AI與人類的價值觀保持一致,怎么就這么難?

AI有必要模仿人類嗎? 

在書中,Christian還討論了開發AI代理的意義——讓這些代理模仿人類行為,真的有意義嗎?自動駕駛汽車就是典型實例,代理會通過觀察人類司機學習如何駕駛車輛。 

模仿確實可以創造奇跡,特別善于處理規則及標簽不夠明確的問題。但是,模仿也會繼承人類智能中的欠缺。人類在年輕時往往通過模仿與死記硬背學習大量知識,但模仿只是我們發展出智能行為的多種機制之一。在觀察他人的行為時,我們會根據自己的限制、意圖、目標、需求以及價值觀調整出適合自己的處理方式。 

Christian寫道,“如果模仿對象比我們更快、更強壯、身材更高大,那我們就沒辦法完美模仿他們。這時候一味堅持模仿,只會影響我們解決問題的能力。” 

誠然,AI系統確實通過觀察并預測我們的行為,嘗試以模仿的方式提供幫助。但很明顯,AI系統并不像人類這樣受到種種約束與限制,因此會導致其誤解我們的意圖,甚至放大我們的某些不良習慣,最終將負面影響擴散到我們生活中的方方面面。 

Christian寫道,“我們的數字管家正密切關注我們的私人生活與公共生活,審視著我們好的一面與壞的一面,但卻并不清楚這些因素到底有何區別、有何聯系。AI系統好似生活在一處詭異而復雜的山谷:能夠從我們的行為中推理出復雜的人類欲望模型,但卻無法理解這些欲望從何而來。它們努力思考接下來該做什么,但不了解我們想要什么、又是怎樣成長為我們自己。” 

未來在哪里? 

機器學習的進步表明,我們在創造思想機器方面已經取得了一定成就。但是,機器學習帶來的挑戰與影響,也再次提醒我們應該正視理解人類智能這一前提性難題。 

AI科學家與研究人員正探索多種不同方法,希望克服這些障礙,打造出讓人類只受益、不受害的AI系統。而在達成這項目標之前,我們需要謹慎行事,不可貿然為這類系統賦予過多權限。 

Christian最后警告稱,“著眼于當下,最危險的行為就是在機器學習領域找到一種看似合理的模型、急于宣告研究成功——這可能會給整個社會帶來災難性的后果。”

    大香大香伊人在钱线久久_波多野结衣家庭教师_被强奷很舒服好爽好爽的视频