朱倩男：從推薦結(jié)果多樣化建立算法公平性評(píng)測(cè)指標(biāo)

中新經(jīng)緯3月24日電 (薛宇飛)近日，由中國(guó)人民大學(xué)高瓴人工智能學(xué)院、智能社會(huì)治理跨學(xué)科交叉平臺(tái)和基于大數(shù)據(jù)文科綜合訓(xùn)練國(guó)家級(jí)虛擬仿真實(shí)驗(yàn)教學(xué)中心聯(lián)合主辦的算法公平性與內(nèi)容生態(tài)建設(shè)研討會(huì)在線上舉行，來自清華大學(xué)、中國(guó)人民大學(xué)、中國(guó)科學(xué)技術(shù)大學(xué)、對(duì)外經(jīng)貿(mào)大學(xué)、北京郵電大學(xué)、北京科技大學(xué)、微軟亞洲研究院的十幾位專家、學(xué)者，就推薦算法的公平性等多個(gè)熱點(diǎn)問題展開討論。研討會(huì)上，中國(guó)人民大學(xué)高瓴人工智能學(xué)院發(fā)布了《算法公平性與內(nèi)容生態(tài)建設(shè)》報(bào)告(下稱報(bào)告)。

剖析與總結(jié)算法不公平性的原因

研討會(huì)上，中國(guó)人民大學(xué)高瓴人工智能學(xué)院博士后朱倩男分享了報(bào)告的主要內(nèi)容。報(bào)告將推薦系統(tǒng)看作用戶、數(shù)據(jù)和模型三者間的循環(huán)交互過程，推薦流程可以分為用戶到數(shù)據(jù)、數(shù)據(jù)到模型、模型到用戶三個(gè)階段。用戶到數(shù)據(jù)階段，是指從移動(dòng)端、網(wǎng)頁等各途徑收集用戶行為數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行清洗與篩選；數(shù)據(jù)到推薦模型階段，是將篩選或清洗后的行為數(shù)據(jù)輸入到模型中以挖掘用戶偏好，同時(shí)向用戶返回個(gè)性化推薦結(jié)果；在模型到用戶階段，用戶根據(jù)反饋結(jié)果進(jìn)行點(diǎn)擊或?yàn)g覽，形成新的交互行為用作下一次迭代。

為了加深大眾對(duì)推薦系統(tǒng)的了解，朱倩男列舉了日常生活中經(jīng)常使用到的推薦產(chǎn)品及應(yīng)用場(chǎng)景。比如，今日頭條的資訊推薦系統(tǒng)就是典型的新聞應(yīng)用場(chǎng)景，它利用資訊內(nèi)容、用戶特征以及環(huán)境特征三個(gè)維度擬合用戶對(duì)推薦內(nèi)容的滿意程度，同時(shí)，今日頭條的資訊推薦系統(tǒng)還考慮基于內(nèi)容安全的鑒定模型向用戶推薦比較安全和可靠的資訊。

報(bào)告從公平性關(guān)注角度，即信息需求方和信息供給方列舉了幾個(gè)不公平的例子。比如，對(duì)于信息需求方來講，常見的不公平現(xiàn)象包括但不限于偏好放大、曝光偏見和大數(shù)據(jù)殺熟等。比如，在電商場(chǎng)景下，“偏好放大”是指用戶搜索一個(gè)物品后，接下來一段時(shí)間的推薦很可能都與該物品相關(guān)，即使是用戶已經(jīng)購(gòu)買過該物品。而曝光偏見是指未曝光或者很少曝光的物品，由于缺乏用戶行為數(shù)據(jù)，更加得不到曝光機(jī)會(huì)，限制了用戶接觸到更多感興趣商品的機(jī)會(huì)，這對(duì)用戶來講是不公平的。對(duì)于信息供給方來說，常見不公平現(xiàn)象包括但不限于位置偏見和流行性偏見等。位置偏見是指位置靠前的物品比位置靠后的物品更容易被用戶注意到。流行性偏見指比較流行的物品更容易推薦給用戶，而不流行的物品有較少的機(jī)會(huì)被推薦給用戶。

朱倩男稱，要從推薦系統(tǒng)原理出發(fā)，關(guān)注推薦系統(tǒng)循環(huán)回路中的數(shù)據(jù)、推薦模型和用戶三個(gè)要素，分析產(chǎn)生不公平現(xiàn)象的潛在原因。

首先，在數(shù)據(jù)層面，樣本數(shù)量的有限性和可偽造性，會(huì)影響推薦算法的準(zhǔn)確性和公正性。由于商業(yè)競(jìng)爭(zhēng)和對(duì)用戶數(shù)據(jù)隱私的保護(hù)，與用戶相關(guān)的全量樣本數(shù)據(jù)的獲取不具備可行性；人為偽造的點(diǎn)贊量、轉(zhuǎn)發(fā)量等數(shù)據(jù)，會(huì)對(duì)算法規(guī)則產(chǎn)生“欺騙”；用戶往往受選擇偏見、曝光偏見、從眾心理以及物品流行度的影響，可能會(huì)產(chǎn)生有偏的反饋數(shù)據(jù)，而有偏的數(shù)據(jù)自然會(huì)產(chǎn)生有偏的推薦結(jié)果。

其次，在推薦模型層面，算法的核心是從輸入的數(shù)據(jù)中挖掘用戶偏好，以預(yù)測(cè)符合用戶偏好的推薦結(jié)果，但有偏的輸入會(huì)形成有偏的輸出，并在推薦循環(huán)中進(jìn)一步加深，產(chǎn)生不公平問題。此外，在算法目標(biāo)或核心設(shè)計(jì)層面，更多的是追求風(fēng)險(xiǎn)最小化，比較看重的是整體準(zhǔn)確率或者收益，也就是說，推薦系統(tǒng)更在意擬合多數(shù)群體的需求，而少數(shù)群體的反饋往往會(huì)被忽略掉。長(zhǎng)此以往，推薦算法會(huì)喪失對(duì)這部分少量用戶的代表性，形成歸納偏差。朱倩男稱，如果推薦算法只追求準(zhǔn)確性，而很少考慮到公平性的因素，這樣的推薦算法就會(huì)用有偏的結(jié)果來擬合并且強(qiáng)化用戶已有的偏見或者喜好，從而減少用戶對(duì)其他新鮮信息的接觸機(jī)會(huì)，產(chǎn)生不公平問題。

最后，在人的層面。算法是人為設(shè)計(jì)的，設(shè)計(jì)者可能將自身固有的偏見嵌入到算法中，算法在反映偏見的同時(shí)也會(huì)放大這種歧視。其次，對(duì)用戶來講，用戶行為可能會(huì)受到從眾心理以及流行度等因素影響，并不能形成反映用戶真實(shí)興趣的數(shù)據(jù)，而推薦系統(tǒng)在有偏數(shù)據(jù)上進(jìn)行建模，就可能產(chǎn)生有偏的推薦結(jié)果。

通過以上分析，報(bào)告對(duì)推薦算法可能產(chǎn)生的偏見問題進(jìn)行總結(jié)。在用戶到數(shù)據(jù)階段，可能會(huì)有位置偏見、曝光偏見、選擇偏見以及從眾偏見等不公平問題。在數(shù)據(jù)到模型階段，可能會(huì)產(chǎn)生屬性偏差、歸納偏差和探索偏差等不公平問題。在模型到用戶階段，推薦結(jié)果可能會(huì)存在流行度偏見和對(duì)某些群體的不公平等。

朱倩男總結(jié)道，算法的公平性是社會(huì)治理的重要原則，也是堅(jiān)持算法向善和可持續(xù)發(fā)展的核心要素。保證算法決策的客觀、公平、合理是加速人工智能落地的必要條件。因此，研究算法的公平性具有重大的理論意義和應(yīng)用價(jià)值。

綜合考量算法公平性問題

報(bào)告認(rèn)為，現(xiàn)階段，推薦系統(tǒng)公平性的研究已成為推薦領(lǐng)域新的突破點(diǎn)，學(xué)術(shù)界和產(chǎn)業(yè)界正著力推動(dòng)和研究公平機(jī)器學(xué)習(xí)的理論、技術(shù)和應(yīng)用發(fā)展。

特別地，對(duì)工業(yè)界來講，算法的不公平性會(huì)影響用戶的黏性和長(zhǎng)期存留，實(shí)現(xiàn)公平性對(duì)企業(yè)來說也是至關(guān)重要的。面對(duì)推薦算法可能帶來的不公平問題，TikTok的推薦算法兼顧了需求方(短視頻觀看者)和供給方(短視頻發(fā)布者)的公平，使得普通用戶發(fā)布的內(nèi)容也有可能受到明星般的關(guān)注，同時(shí)也能使有小眾或細(xì)分需求的用戶能看到自己感興趣的內(nèi)容。該算法被麻省理工學(xué)院在MIT technology review中被評(píng)為2021年度十大突破技術(shù)之一。

報(bào)告還從公平性的定義及適用范圍、數(shù)據(jù)、算法相關(guān)主體、法律法規(guī)和社會(huì)監(jiān)管等層面綜合考量，給出克服算法公平性問題的一些建議。

一是建議界定清晰的公平性定義、對(duì)象及適用范圍。報(bào)告借助社會(huì)科學(xué)領(lǐng)域比較典型的起點(diǎn)公平，過程公平和結(jié)果公平，從數(shù)據(jù)、算法、推薦結(jié)果三個(gè)層面界定公平性范圍。首先，保證數(shù)據(jù)的公平性是避免算法不公平問題的基礎(chǔ)，因此，建議考慮在數(shù)據(jù)層面定義公平性來獲取無偏的數(shù)據(jù)。其次，保證無偏的建模過程是解決公平性問題的重要抓手。為了追求高準(zhǔn)確率，推薦結(jié)果可能會(huì)極大滿足多數(shù)群體的需求，而忽視少數(shù)群體，因此，建議在算法建模層面定義公平性，設(shè)計(jì)以公平性為導(dǎo)向的算法。最后，保證對(duì)不同個(gè)體、群體、機(jī)構(gòu)等對(duì)象無偏的推薦結(jié)果，報(bào)告建議考慮推薦結(jié)果的多樣化，作為解決公平性問題的主要途徑之一。

二是建議在數(shù)據(jù)、算法以及算法相關(guān)主體層面，規(guī)避產(chǎn)生不公平問題的潛在原因，以實(shí)現(xiàn)公平的推薦。首先，在數(shù)據(jù)層面，建議平衡好數(shù)據(jù)獲取時(shí)的探索和利用環(huán)節(jié)，因?yàn)橥扑]場(chǎng)景中攜帶偏見的數(shù)據(jù)往往來源于數(shù)據(jù)獲取過程，數(shù)據(jù)的獲取策略可能對(duì)某一類數(shù)據(jù)具有偏好，而對(duì)其他數(shù)據(jù)采樣比較少。因此，針對(duì)該問題，建議利用已有數(shù)據(jù)的同時(shí)，采用機(jī)器學(xué)習(xí)算法合理探索未知類型的數(shù)據(jù)，避免信息獲取的單一性。其次，在算法層面，開展以公平性為導(dǎo)向的算法設(shè)計(jì)模型，傳統(tǒng)人工智能算法在設(shè)計(jì)歸納偏置時(shí)，大多是關(guān)注預(yù)測(cè)的高精度，忽略了公平性，因此應(yīng)以公平性為導(dǎo)向設(shè)計(jì)面向不同任務(wù)和場(chǎng)景的歸納偏置，盡可能將反歧視目標(biāo)貫穿于算法設(shè)計(jì)中。最后，建立算法及其相關(guān)主體公平性原則。建立和完善算法透明、算法可解釋以及算法問責(zé)機(jī)制，在算法落地過程中明確哪些環(huán)節(jié)有人參與，參與的是哪一部分，對(duì)算法可能造成的影響，需要在特定范圍內(nèi)以及特定單位公開，以避免因人為因素帶來的不公平問題。此外，算法研究人員還需遵守一些基本倫理準(zhǔn)則，堅(jiān)持算法向善以及對(duì)社會(huì)有益，也要注重對(duì)用戶隱私數(shù)據(jù)的保護(hù)。

三是建議建立通用的公平性評(píng)測(cè)指標(biāo)和平臺(tái)。建立算法公平性評(píng)測(cè)指標(biāo)，建議從兩方面入手，一方面是考慮推薦結(jié)果的多樣化，因?yàn)槎鄻踊墙鉀Q公平性問題的有效途徑。另一個(gè)方面是考慮推薦對(duì)象的公平性。推薦算法的公平性可以從以用戶為中心，擴(kuò)展到以群體為中心，在歸納偏置中關(guān)注不同群體的準(zhǔn)確性差異，以不同的對(duì)象來建立評(píng)測(cè)指標(biāo)。其次，建立算法公平性評(píng)測(cè)的公開數(shù)據(jù)集和通用平臺(tái)，形成統(tǒng)一標(biāo)準(zhǔn)的公平性評(píng)估。同時(shí)，建議用公平性評(píng)估結(jié)果引導(dǎo)算法設(shè)計(jì)者對(duì)算法進(jìn)行改進(jìn)和修正。

四是建議在法律法規(guī)以及社會(huì)監(jiān)管層面，對(duì)公平性問題進(jìn)行規(guī)避和應(yīng)對(duì)。首先，要建立算法相關(guān)利益主體的責(zé)任機(jī)制和法律意識(shí)，明確算法的責(zé)任主體，對(duì)可能造成社會(huì)危害的事件進(jìn)行追責(zé)，加強(qiáng)相關(guān)主體的道德和倫理素質(zhì)的培養(yǎng)。其次，建立和完善算法相關(guān)制度，對(duì)算法進(jìn)行監(jiān)管，可以通過算法的性能標(biāo)準(zhǔn)、預(yù)測(cè)標(biāo)準(zhǔn)、設(shè)計(jì)標(biāo)準(zhǔn)等的設(shè)立，避免算法作惡。也可以建立由計(jì)算機(jī)、法學(xué)、經(jīng)濟(jì)學(xué)及其他社會(huì)科學(xué)組成的第三方機(jī)構(gòu)，從多角度、多方面鑒定算法技術(shù)可能帶來的不公平影響，對(duì)相關(guān)主體的責(zé)任范圍進(jìn)行界定，幫助企業(yè)和單位完善算法的設(shè)計(jì)和落地。

報(bào)告認(rèn)為，目前，對(duì)算法的公平性研究還處于起步階段，并沒有形成統(tǒng)一的公平性理論體系，對(duì)公平性的研究任重道遠(yuǎn)。(中新經(jīng)緯APP)