機器學(xué)習社區的一個(gè)目標是開(kāi)發(fā)的機器學(xué)習系統，一旦被引入社會(huì )環(huán)境，就可以實(shí)現公平性。計算機科學(xué)中如抽象和模塊化設計用于定義公平和歧視的概念，以產(chǎn)生公平感知學(xué)習算法，并在決策模塊流程的不同階段進(jìn)行干預產(chǎn)生“公平”的結果。然而，在本文中，作者認為這些概念使技術(shù)干預無(wú)效，不準確，當他們進(jìn)入時(shí)可能會(huì )被誤導。圍繞決策系統的社會(huì )背景，我們用五個(gè)“陷阱”來(lái)概述這種不匹配，即機器學(xué)習系統可能會(huì )有歧視甚至因為它是具有上下文意識傳統的數據科學(xué)。作者通過(guò)借鑒社會(huì )技術(shù)系統的研究，在科學(xué)技術(shù)研究中解釋為什么會(huì )有這樣的“陷阱”發(fā)生以及如何避免它們。作者通過(guò)繪制抽象界限(abstraction boundaries)，在不止純粹的技術(shù)因素方面，還在社會(huì )因素角度上，給出了在設計過(guò)程中避免“缺陷”的方式和建議，而不是提供解決方案。
背 景：
在剛入門(mén)學(xué)習計算機科學(xué)時(shí)，我們便了解到一個(gè)系統可以被描述為一個(gè)黑盒，由系統的輸入、輸出以及它們之間的關(guān)系精 確定義該系統，描述該系統的理想特性。至此，系統內部的結構和輸入輸出的來(lái)源已經(jīng)被抽象掉了。
機器學(xué)習系統的設計和構建旨在實(shí)現具體目標和績(jì)效指標，如AUC，精 確度和召回率等而忽略其算法的公平性。到目前為止，公平感知機器學(xué)習領(lǐng)域(fair-ML)一直致力于通過(guò)使用公平性本身作為黑盒系統的屬性來(lái)設計更公平更公正的機器學(xué)習算法和模型。目前已有很多相關(guān)工作提出了公平性的定義，并基于給定的硬約束或公平度量產(chǎn)生佳近似的公平保障，本文作者認為這些工作都僅 限于一些特定領(lǐng)域的系統，而非較為通用的方法。本文認為系統的不公平往往是由于忽略抽象出其社會(huì )背景導致的，本篇文章給出了五種失敗模式錯誤(failure modes of abstraction error)，被稱(chēng)為框架陷阱(Framing Trap), 可移植性陷阱(Portability Trap),形式陷阱(Formalism Trap), 波紋效應陷阱(Ripple Effect Trap), 和解決方案陷阱 (Solutionism Trap)。這些陷阱都是缺乏對社會(huì )背景如何與不同形式的技術(shù)交叉的理解導致的，因此了解系統背后的社會(huì )背景對保障一個(gè)機器學(xué)習系統的公平是很重要的。
抽象陷阱(The Abstraction Traps)：
抽象對計算機科學(xué)尤其是機器學(xué)習至關(guān)重要。廣義上，社會(huì )背景被抽象以便可以應用機器學(xué)習。 下面解釋了五種不同的陷阱：由于未能正確解釋或理解技術(shù)系統與社會(huì )背景之間的相互作用而導致的失敗模式(failure modes of abstraction error)。
1. 框架陷阱(Framing Trap)：是指未能對整個(gè)系統進(jìn)行建模，在該系統上將實(shí)施社會(huì )標準，例如公平性。機器學(xué)習中常見(jiàn)的抽象包括選擇表示(of data)和標記(of outcomes)，這些構成了對算法框架的描述，算法的功效被評估為與輸入相關(guān)的輸出屬性，如算法是否能夠提供良好的訓練數據準確性，以及對同一分布中看不見(jiàn)的數據具有良好的普遍性，本文將其稱(chēng)為框架的端到端的屬性。然而在算法框架中抽象往往是給定的，并且很少被詢(xún)問(wèn)有效性，低質(zhì)量的抽象就是造成該類(lèi)缺陷的主要原因。
2. 可移植性陷阱(Portability Trap)：如果不了解如何針對一個(gè)社會(huì )環(huán)境進(jìn)行算法解決方案的設計，則在應用于不同的環(huán)境時(shí)可能會(huì )產(chǎn)生誤導，不準確或其他方面的損害，該類(lèi)問(wèn)題被稱(chēng)為可移植性陷阱。陷入框架陷阱的一個(gè)原因是因為計算機科學(xué)文化很有價(jià)值并且經(jīng)常要求可移植性。有目的地設計為盡可能抽象，被認為更有用(因為它是可重用的)，技巧，優(yōu)雅或美麗。幾乎所有受過(guò)計算機科學(xué)家或工程師培訓的人都強烈要求這種必要性，并建議設計首先旨在創(chuàng )建獨立于社會(huì )背景的工具。在機器學(xué)習領(lǐng)域更為顯著(zhù)，從任務(wù)性質(zhì)就抽象為分類(lèi)任務(wù)，聚類(lèi)任務(wù)，強化任務(wù)和回歸任務(wù)等，從代碼角度來(lái)說(shuō)，大量工具代碼庫是鼓勵可移植性的。然而在不同的社會(huì )背景下，往往會(huì )造成可移植性陷阱。
3. 形式陷阱(Formalism Trap)：沒(méi)有考慮公平性等社會(huì )概念的全部含義，這些概念可以是程序性的，語(yǔ)境性的和可競爭性的，并且不能通過(guò)數學(xué)形式來(lái)解決。在公平機器學(xué)習文獻中受關(guān)注的問(wèn)題是公平的定義。其任務(wù)是在數學(xué)上定義社會(huì )公平的基本概念，以便將公平理想融入機器學(xué)習。如費爾德曼等人，將平等就業(yè)機會(huì )委員會(huì )(EEOC)80％的規則正式化為正式的偏見(jiàn)度量，他們稱(chēng)之為不同的影響。將問(wèn)題限制在數學(xué)公式中會(huì )在實(shí)踐中產(chǎn)生兩個(gè)明顯的問(wèn)題。首先，沒(méi)有辦法使用純數學(xué)方法在不可調和的沖突定義之間進(jìn)行仲裁。形式化的**個(gè)問(wèn)題源于沒(méi)有定義可能是描述公平性的有效方式。公平和歧視是哲學(xué)家，社會(huì )學(xué)家和律師長(cháng)期爭論的復雜概念。它們有時(shí)是程序性的，上下文的和政治上可競爭的，并且每個(gè)屬性都是概念本身的核心部分，并非完全形式化的。
4. 波紋效應陷阱(Ripple Effect Trap)：未能理解將技術(shù)嵌入現有社會(huì )系統如何改變現有系統的行為和嵌入值(embedded)。當技術(shù)被應用到社會(huì )環(huán)境時(shí)，它既有專(zhuān)門(mén)的作用但也有意想不到的后果。意想不到的后果之一是系統中的人員和組織對干預作出反應的方式。為了真正理解技術(shù)的引入是否會(huì )改善公平性結果，不僅需要了解如上所述的本地化公平性問(wèn)題，還要了解技術(shù)如何與已有的社會(huì )系統相互作用。
5. 解決方案陷阱 (Solutionism Trap)：未能認識到問(wèn)題的解決方案可能不涉及技術(shù)的可能性。因為公平機器學(xué)習植根于計算機科學(xué)，往往會(huì )產(chǎn)生沒(méi)有技術(shù)干預就沒(méi)有系統的概念。有兩種情況，第 一種是可能從技術(shù)開(kāi)始就是錯誤的方法，或者更確切地說(shuō)，無(wú)論迭代多少次，有多少近似值，建模情況都不會(huì )有效。**種是當所需的建模如此復雜以至于在計算上難以處理時(shí)，技術(shù)已經(jīng)不足以解決問(wèn)題了，強行運用只能造成浪費。
對公平機器學(xué)習的建議：
1. 在研究初期，需要對相關(guān)的社會(huì )背景及其政治（解決主義）有細致的理解；
2. 以可預測的方式影響社會(huì )背景，使得技術(shù)解決后的問(wèn)題在引入后保持不變（漣漪效應）；
3. 能夠恰當地處理對公平性等社會(huì )要求的強烈理解，包括對程序性，語(yǔ)境性和可競爭性的需求（形式主義）；
4. 能適當地模擬了其部署的實(shí)際環(huán)境的社會(huì )和技術(shù)要求（可移植性）；
5. 構建異構框架(heterogeneously framed)，以包括與本地化公平問(wèn)題相關(guān)的數據(技術(shù))和社會(huì )因素影響因子(社會(huì ))。
引用：Selbst A D, Boyd D, Friedler S A, et al. Fairness and abstraction in sociotechnical systems[C]. Proceedings of the Conference on Fairness, Accountability, and Transparency. ACM, 2019: 59-68.