嚴望佳對話南方都市報 | 暢談人工智能安全防范、倫理準則、獨立安全運營等問題
發布時間 2019-03-18今年兩會上,“人工智能倫理”成為高頻詞。機器會搶走人的飯碗嗎?機器會不會傷害人?從會場到民間,人們討論最多的話題,莫過于如何處理人和機器的關系。
在全國政協委員、啟明星辰首席執行官嚴望佳看來,新的技術正在改變我們的時代,而且這種改變是“開弓沒有回頭箭”,沒有回頭路走的。如果一項新技術應用得太快,我們可能來不及看清楚其中的風險,以后真的回不了頭時就很麻煩,所以要及早研究,關注人工智能安全。
如果數據本身已經成為資產,帶來了權力和大量的財富,那么普通人作為數據的主體,也應該參與分配。只有通過立法,才能明確數據權屬,保護普通人的數據權益。
關乎人類生命的事情,最終的決定權應該交給人類自身,而絕不能完全交給缺乏彈性的人工智能。
獨立的網絡安全運營部門,其實就像網絡上的大樓監控室。通過統一的監管和協調,及時發現各個部門、系統中的安全態勢、預警情報,更好地發揮網絡安全保障的作用。
南都:為什么今年特別關注到人工智能安全?
嚴望佳:做安全的人其實有一種思維慣性,面對任何新的技術,都會首先考慮風險問題。不僅是人工智能,大數據、移動互聯網、工業互聯網這些新興領域,風險把控都是蠻重要的。
原因在哪?新的技術正在改變我們的時代,而且這種改變是“開弓沒有回頭箭”,沒有回頭路走的。就比如通訊軟件,現在你想要完全不用,基本上是不可能的事情。
人工智能對未來社會的影響,目前還有很多不確定因素。我們中國人很聰明,有很多做創新研究和開發應用的人,能夠特別快地進入新的領域。但如果一項新技術應用得太快,我們可能來不及看清楚其中的風險,以后真的回不了頭時就很麻煩。所以要及早研究。
南都:目前來看,人工智能應用,可能有哪些潛在風險?
嚴望佳:從網絡安全的角度,程序員編碼漏洞、數據樣本偏差等因素,都可能導致人工智能實際應用中出現決策錯誤或歧視問題。如果問題發生在涉及國計民生的重要領域,比如自動駕駛、醫療、金融,會帶來嚴重的危害。
從更宏觀的層面看,人工智能應用帶來兩方面的風險,一個是人和機器的關系,一個是人和人的關系。關于前者,現在有很多討論,未來是人控制機器?還是機器控制人?機器人會不會傷害人類?但我更擔心的其實是后者。
南都:為什么?
嚴望佳:有未來學家提出,隨著人工智能的發展,財富和權力會日益集中在擁有數據和算法的極少數精英手中,造成前所未有的社會不平等。我很認同這一看法。
未來可能只有兩種人,一種是控制人工智能的人,一種是被人工智能控制的人。如果還有第三種人,他們大概是隱居在深山,不跟社會發生任何聯系。
南都:控制了數據和算法的人,會有這么大的權力嗎?
嚴望佳:算法推薦就是很好的例子。平臺持續地收集你的數據,理由是要了解你喜歡什么,為你做更精準的推送。但反過來想,知曉了你的喜好,是不是就可以慢慢引導你,讓你喜歡它希望你喜歡的東西?不知不覺間,你被控制了。
1%的人所利用的數據,其實來源于每一個人。如果數據本身已經成為資產,帶來了權力和大量的財富,那么普通人作為數據的主體,也應該參與分配。所以我今年的另一個提案是關于大數據立法,只有通過立法,才能明確數據權屬,保護普通人的數據權益。
嚴望佳:因為技術上的風險,相對更好解決。倫理問題很復雜,大家首先要達成共識,哪些領域可以去發展應用,哪些領域不行。
舉個例子,2017年有外國研究者推出了“AI殺人蜂”,是一種比人的手掌還小的無人機,能夠實時捕捉和識別人臉,對目標人物進行精準獵殺。據說還很便宜,2500美元就可以買到一個。這樣的人工智能應用,可能會導致戰爭沖突的升級,想想還是挺可怕的。我認為,人工智能只能應用在對人類有益的領域,殺傷性武器方面的應用必須禁止。
南都:目前發展較快的無人駕駛領域,已經面臨很多非常具體的倫理問題。
嚴望佳:有一個著名的倫理難題,電車難題。一輛剎車壞了的有軌電車,即將撞上前方軌道上的五個人,而旁邊的備用軌道上只有一個人。你手邊有一個按鈕,按下按鈕,車會駛入備用軌道,只撞死一個人。是否應該犧牲這一個人的生命去拯救另外五個人?
在人都很難判斷的緊急情況下,無人車該怎樣決策?如果無人車馬上要發生車禍,它是保護乘客還是保護路人?一定會撞到路人的話,去撞誰?倫理原則,實際上決定著技術的發展方向。
2017年,德國已經出臺了無人駕駛道德準則,明確人的生命高于任何財產。在發生不可避免的事故時,嚴禁將人群屬性作為評判標準,比如年齡、性別、身體及精神狀況等。
在一個新的領域,立法總是會滯后于現實應用,所以需要先達成倫理上的共識,確定一些準則。關乎人類生命的事情,最終的決定權應該交給人類自身,而絕不能完全交給缺乏彈性的人工智能。
嚴望佳:目前國家提出“網絡安全與信息化發展并重”,但在實際工作中,基層部門對網絡安全的重視程度普遍還不夠高。很常見的一種情況是,一個單位讓信息化建設承包商同時負責網絡安全建設,實際運營時出現“安全舞弊”現象。
南都:什么叫安全舞弊?
嚴望佳:網絡安全建設既然附屬于信息化建設,那么信息化部門完全可以設計一些“后門”讓網絡安全部門看不到,或者出了問題以后悄悄掩蓋。相當于信息化部門既做運動員,又做裁判員。但網絡安全部門其實應該是第三方的獨立部門,這樣才能起到真正的安全監督作用,推動安全措施去落實。
另外,現在的信息系統變得越來越復雜,不斷地進行研發迭代,安全挑戰更大,任務更重。簡單的反病毒或者反黑客的產品,已經不能滿足安全需要。所以也需要獨立的網絡安全運營部門,去強化網絡安全的保障效果。
南都:一個獨立的網絡安全運營部門,有什么優勢?
嚴望佳:比如說一個大樓,保安會有專門的監控室。大樓入口、核心資產倉庫等所有重要的地方,都裝了攝像頭。保安利用攝像頭進行24小時的監控,哪里出現可疑情況都能及時發現。
獨立的網絡安全運營部門,其實就像網絡上的大樓監控室。通過統一的監管和協調,及時發現各個部門、系統中的安全態勢、預警情報,更好地發揮網絡安全保障的作用。
(來源:南方都市報)