科技行者當AI看到男性,首先想到“官員”;看到女性,卻先想到“微笑”

當AI看到男性,首先想到“官員”;看到女性,卻先想到“微笑”

當AI看到男性,首先想到“官員”;看到女性,卻先想到“微笑”

當AI看到男性,首先想到“官員”;看到女性,卻先想到“微笑”

2020年11月30日 16:44:40 科技行者
  • 分享文章到微信

    掃一掃
    分享文章到微信

  • 關注官方公眾號-科技行者

    掃一掃
    關注官方公眾號
    科技行者

一篇最新論文,再次引發人們對于谷歌、微軟以及亞馬遜所提供圖像識別服務的偏見擔憂。

來源:科技行者 2020年11月30日 16:44:40

關鍵字:AI 人工智能 機器學習 機器倫理

男性總愛用外表來評判女性。事實證明,計算機也會如此。

當AI看到男性,首先想到“官員”;看到女性,卻先想到“微笑”

當美國及歐洲的研究人員向谷歌的云圖像識別服務展示國會議員照片時,該服務給女性照片添加的外貌標簽達到男性照片的3倍。男性圖片中出現最多的標簽是“官員”與“商人”;而在女性一邊,最常出現的則是“微笑”和“下巴”。

德國科恩GESIS萊布尼茨社會科學研究所博士后研究員Garsten Schwemmer表示,“這是一種對女性地位的刻板印象——男性代表商業領袖,女性則只需要漂亮即可。”他本人也參與了此項研究,項目組成員還包括來自紐約大學、美國大學、都柏林大學學院、密歇根大學以及非營利性組織加州YIMBY的研究者。

研究人員對谷歌的人工智能圖像服務以及競爭對手亞馬遜及微軟的方案進行了機器視覺測試。各位外包測試人員負責評審這些服務,在觀察議員官方照片及其發布的推文圖片后做出的評判結論。

當AI看到男性,首先想到“官員”;看到女性,卻先想到“微笑”

圖:谷歌AI圖像識別服務更傾向于將參議員Steve Daines視為商人,而對Lucille Roybal-Allard等女性議員則往往添加外觀標簽。

AI服務當然也能夠看到人類評審員在照片中看到的東西,但其更傾向于關注男性與女性之間的差異,特別是更多增加外表信息設定為女性特征。女議員通常被貼上“女生”及“美女”等標簽。事實上,這些服務往往根本不會深挖女性對象的其他特征,而單純只做性別判斷;這一點與處理男性照片時,形成了強烈的反差。

這項研究進一步增加了證據,即算法并不是真正從數學角度爬行世界,而更多是在復制甚至放大固有的文化偏見。2018年的Gender Shades項目早已得出過類似的結論,項目表明,微軟與IBM的AI云服務在識別白人男性方面非常準確,但在識別黑人女性的性別時則準確率低下。

在此次最新研究當中,研究人員選擇了加利福尼亞州參議院10位男性與10位女性官員的照片,并表明當初的結論仍然成立。

當AI看到男性,首先想到“官員”;看到女性,卻先想到“微笑”

圖:亞馬遜的圖像處理服務Rekognition將包括共和黨人Ling Ling Chang在內的多位加利福尼亞州女性參議員照片標記為“女生”或“兒童”,但從未在男性議員照片上做出類似的標記。

這20位議員在照片中都面帶微笑。從谷歌上出現頻率最高的標簽來看,其只將一位男性標記為“微笑”,但將七位女性標記為“微笑”。

此外,谷歌的AI視覺服務將所有10位男性標記為“商人”,通常還帶有“官員”或“白領”字樣;但在女性方面,只有5位女參議員獲得了一項或多項類似的標記。女性照片獲得的外貌相關標簽明顯更多,例如“皮膚”、“發型”、“脖子”等等,這些在男性照片中均未出現。

亞馬遜與微軟的服務似乎并沒有表現出明顯的偏見,但亞馬遜以高達99%的置信度認定,其中2位女性參議員為“女生”或者“兒童”,而并未對任何男性照片做出誤判。微軟的服務正確確定了所有男性照片的性別,但只成功確定8位女性的性別;其將1位女性誤認為男性,而最后1位女性則未被添加任何性別標記。

谷歌在今年年初關閉了AI視覺服務中的性別檢測功能,表示無法單憑一個人的外貌推斷出性別。谷歌云部門AI執行董事Tracy Frey表示,該公司始終致力于減少偏見,并歡迎外界各方的參與。她指出,“我們一直在努力變得更好,并不斷與外部利益相關方(例如學術研究人員)開展合作,希望在這一領域進一步開展工作。”亞馬遜與微軟則拒絕對此發表評論,目前雙方的服務仍然只對性別做出二元判斷。

此次美國-歐洲聯合研究的靈感,源自當初研究人員向谷歌視覺服務展示了一張屢獲殊榮的驚人照片。這張照片拍攝于得克薩斯州,其中一名蹣跚學步的洪都拉斯兒童,因母親被美國邊境巡邏官拘留,而痛哭流涕。谷歌的AI建議為其添加了包括“有趣”(置信度為77%)在內的標簽,甚至遠高于“兒童”標簽(置信度52%)。在周三將此照片上傳至谷歌服務后,實際結果也驗證了這一說法。

Schwemmer和他的同事們開始使用谷歌服務,希望借此衡量人們在網上使用圖像談論政治問題的方式。以此為基礎,他開始揭露視覺服務中的性別偏見問題,也由此確認此項技術并未做好參與實際研究的準備,甚至有可能給輕易信任此類服務的企業帶來慘重損失。他指出,“這可能會給用戶帶來完全錯誤的圖像解讀結果。”以幫助企業整理員工影像集為例,過度從外貌角度評判女性只會令對方受到強烈的冒犯。

當AI看到男性,首先想到“官員”;看到女性,卻先想到“微笑”

圖:當這張圖片在2019年成為世界新聞雜志年度照片時,有人稱其中表達出了“心理暴力”的意象。但谷歌的圖像算法檢測則認為其內容“有趣”。

此前的研究發現,用于訓練視覺算法的標記照片等重要數據集,表現出明顯的性別偏見。例如,大部分數據集,會展示女性烹飪與男性射擊的畫面。這種偏見的根源在于,研究人員通過在線方式廣泛收集圖像,而網絡上的照片往往是社會偏見的直接體現。而使用這些數據集訓練而成的機器學習軟件,往往又會放大其中的偏見傾向。

Schwemmer認為訓練數據中的偏見,可能解釋了這項新興研究在各科技巨頭AI服務中出現的問題。但如果不全面探查其系統,仍無法得出最終結論。

近年來,診斷及修復AI系統中的缺陷與偏見/偏差已經成為一大熱門研究議題。當AI軟件將注意力集中在像素模式之上時,人們馬上意識到,其中的小小偏差都有可能引發巨大的認知誤解。隨著算法在處理圖像方面變得越來越強,這個問題也顯然愈發緊迫。普林斯頓大學助理教授Olga Russakovsky表示,“現在,這類系統正部署在世界各地。因此,我們最好保證它們能夠正確完成工作,而不至于引發出乎意料的后果。”

當AI看到男性,首先想到“官員”;看到女性,卻先想到“微笑”

當AI看到男性,首先想到“官員”;看到女性,卻先想到“微笑”

圖:此次研究與測試發現,谷歌的圖像識別服務會給加利福尼亞州參議員Cathleen Galgiani等女性添加與其外貌相關的標簽;但卻給她的同事Jim Beall等男性議員添加“商人”及“長者”等身份標簽。

解決這個問題的一種重要方法,在于努力改進訓練數據,從根本上扭轉機器學習系統的偏見/偏差傾向。在普林斯頓大學的相關項目中,Russakovsky正努力開發一款名為REVISE的工具,用于自動標記出圖像集內存在的某些偏見元素,包括與地理及性別相關的元素。

當研究人員將該工具應用于由谷歌維護的Open Images中的900萬張圖像時,他們發現,系統更容易在戶外及運動場景下標記出男性(女性的標記概率明顯更低)。而“運動服”標簽對應的男性往往身在戶外,而對應的女性則大多在室內進行籃球或游泳等運動。

谷歌及其AI領域各競爭對手本身也在積極研究AI公平性與偏見問題。其中包括建立標準化方法以將AI軟件及數據集的局限性和內容,準確傳達給開發人員(類似于AI模型版本的「食品營養表」)。

谷歌還開發出一種名為“模型卡”的格式,并為其云視覺服務的人臉及物體識別組件發布了相應卡。其模型卡宣稱,谷歌的人臉識別軟件在不同性別對象上的工作原理大致相同,但并未提及其他可能引發AI性別偏見的因素。

    大香大香伊人在钱线久久_波多野结衣家庭教师_被强奷很舒服好爽好爽的视频