嚴望佳對話南方都市報 | 暢談人工智能安全防范、倫理準則、獨立安全運營等問題
發布時間 2019-03-18
全國政協委員、啟明星辰首席執行官嚴望佳接受南方都市報采訪，暢談人工智能安全防范、倫理準則、獨立安全運營等問題。以下為文章原文：
今年兩會上，“人工智能倫理”成為高頻詞。機器會搶走人的飯碗嗎？機器會不會傷害人？從會場到民間，人們討論最多的話題，莫過于如何處理人和機器的關系。
在全國政協委員、啟明星辰首席執行官嚴望佳看來，新的技術正在改變我們的時代，而且這種改變是“開弓沒有回頭箭”，沒有回頭路走的。如果一項新技術應用得太快，我們可能來不及看清楚其中的風險，以后真的回不了頭時就很麻煩，所以要及早研究，關注人工智能安全。
如果數據本身已經成為資產，帶來了權力和大量的財富，那么普通人作為數據的主體，也應該參與分配。只有通過立法，才能明確數據權屬，保護普通人的數據權益。
關乎人類生命的事情，最終的決定權應該交給人類自身，而絕不能完全交給缺乏彈性的人工智能。
獨立的網絡安全運營部門，其實就像網絡上的大樓監控室。通過統一的監管和協調，及時發現各個部門、系統中的安全態勢、預警情報，更好地發揮網絡安全保障的作用。
南都：為什么今年特別關注到人工智能安全？
嚴望佳：做安全的人其實有一種思維慣性，面對任何新的技術，都會首先考慮風險問題。不僅是人工智能，大數據、移動互聯網、工業互聯網這些新興領域，風險把控都是蠻重要的。
原因在哪？新的技術正在改變我們的時代，而且這種改變是“開弓沒有回頭箭”，沒有回頭路走的。就比如通訊軟件，現在你想要完全不用，基本上是不可能的事情。
人工智能對未來社會的影響，目前還有很多不確定因素。我們中國人很聰明，有很多做創新研究和開發應用的人，能夠特別快地進入新的領域。但如果一項新技術應用得太快，我們可能來不及看清楚其中的風險，以后真的回不了頭時就很麻煩。所以要及早研究。
南都：目前來看，人工智能應用，可能有哪些潛在風險？
嚴望佳：從網絡安全的角度，程序員編碼漏洞、數據樣本偏差等因素，都可能導致人工智能實際應用中出現決策錯誤或歧視問題。如果問題發生在涉及國計民生的重要領域，比如自動駕駛、醫療、金融，會帶來嚴重的危害。
從更宏觀的層面看，人工智能應用帶來兩方面的風險，一個是人和機器的關系，一個是人和人的關系。關于前者，現在有很多討論，未來是人控制機器？還是機器控制人？機器人會不會傷害人類？但我更擔心的其實是后者。
南都：為什么？
嚴望佳：有未來學家提出，隨著人工智能的發展，財富和權力會日益集中在擁有數據和算法的極少數精英手中，造成前所未有的社會不平等。我很認同這一看法。
未來可能只有兩種人，一種是控制人工智能的人，一種是被人工智能控制的人。如果還有第三種人，他們大概是隱居在深山，不跟社會發生任何聯系。
南都：控制了數據和算法的人，會有這么大的權力嗎？
嚴望佳：算法推薦就是很好的例子。平臺持續地收集你的數據，理由是要了解你喜歡什么，為你做更精準的推送。但反過來想，知曉了你的喜好，是不是就可以慢慢引導你，讓你喜歡它希望你喜歡的東西？不知不覺間，你被控制了。
1%的人所利用的數據，其實來源于每一個人。如果數據本身已經成為資產，帶來了權力和大量的財富，那么普通人作為數據的主體，也應該參與分配。所以我今年的另一個提案是關于大數據立法，只有通過立法，才能明確數據權屬，保護普通人的數據權益。
南都：前面說的問題其實屬于倫理范疇。我們也注意到，很多代表委員今年都在建議加強人工智能倫理的研究。
嚴望佳：因為技術上的風險，相對更好解決。倫理問題很復雜，大家首先要達成共識，哪些領域可以去發展應用，哪些領域不行。
舉個例子，2017年有外國研究者推出了“AI殺人蜂”，是一種比人的手掌還小的無人機，能夠實時捕捉和識別人臉，對目標人物進行精準獵殺。據說還很便宜，2500美元就可以買到一個。這樣的人工智能應用，可能會導致戰爭沖突的升級，想想還是挺可怕的。我認為，人工智能只能應用在對人類有益的領域，殺傷性武器方面的應用必須禁止。
南都：目前發展較快的無人駕駛領域，已經面臨很多非常具體的倫理問題。
嚴望佳：有一個著名的倫理難題，電車難題。一輛剎車壞了的有軌電車，即將撞上前方軌道上的五個人，而旁邊的備用軌道上只有一個人。你手邊有一個按鈕，按下按鈕，車會駛入備用軌道，只撞死一個人。是否應該犧牲這一個人的生命去拯救另外五個人？
在人都很難判斷的緊急情況下，無人車該怎樣決策？如果無人車馬上要發生車禍，它是保護乘客還是保護路人？一定會撞到路人的話，去撞誰？倫理原則，實際上決定著技術的發展方向。
2017年，德國已經出臺了無人駕駛道德準則，明確人的生命高于任何財產。在發生不可避免的事故時，嚴禁將人群屬性作為評判標準，比如年齡、性別、身體及精神狀況等。
在一個新的領域，立法總是會滯后于現實應用，所以需要先達成倫理上的共識，確定一些準則。關乎人類生命的事情，最終的決定權應該交給人類自身，而絕不能完全交給缺乏彈性的人工智能。
南都：你今年還有一個提案，強調要把網絡安全放在與信息化同等的地位。具體怎么理解？
嚴望佳：目前國家提出“網絡安全與信息化發展并重”，但在實際工作中，基層部門對網絡安全的重視程度普遍還不夠高。很常見的一種情況是，一個單位讓信息化建設承包商同時負責網絡安全建設，實際運營時出現“安全舞弊”現象。
南都：什么叫安全舞弊？
嚴望佳：網絡安全建設既然附屬于信息化建設，那么信息化部門完全可以設計一些“后門”讓網絡安全部門看不到，或者出了問題以后悄悄掩蓋。相當于信息化部門既做運動員，又做裁判員。但網絡安全部門其實應該是第三方的獨立部門，這樣才能起到真正的安全監督作用，推動安全措施去落實。
另外，現在的信息系統變得越來越復雜，不斷地進行研發迭代，安全挑戰更大，任務更重。簡單的反病毒或者反黑客的產品，已經不能滿足安全需要。所以也需要獨立的網絡安全運營部門，去強化網絡安全的保障效果。
南都：一個獨立的網絡安全運營部門，有什么優勢？
嚴望佳：比如說一個大樓，保安會有專門的監控室。大樓入口、核心資產倉庫等所有重要的地方，都裝了攝像頭。保安利用攝像頭進行24小時的監控，哪里出現可疑情況都能及時發現。
獨立的網絡安全運營部門，其實就像網絡上的大樓監控室。通過統一的監管和協調，及時發現各個部門、系統中的安全態勢、預警情報，更好地發揮網絡安全保障的作用。
人工智能法律尚未出臺
需倫理準則規范
今年兩會上，“人工智能倫理”成為高頻詞。機器會搶走人的飯碗嗎？機器會不會傷害人？從會場到民間，人們討論最多的話題，莫過于如何處理人和機器的關系。
在全國政協委員、啟明星辰首席執行官嚴望佳看來，新的技術正在改變我們的時代，而且這種改變是“開弓沒有回頭箭”，沒有回頭路走的。如果一項新技術應用得太快，我們可能來不及看清楚其中的風險，以后真的回不了頭時就很麻煩，所以要及早研究，關注人工智能安全。
觀點
如果數據本身已經成為資產，帶來了權力和大量的財富，那么普通人作為數據的主體，也應該參與分配。只有通過立法，才能明確數據權屬，保護普通人的數據權益。
關乎人類生命的事情，最終的決定權應該交給人類自身，而絕不能完全交給缺乏彈性的人工智能。
獨立的網絡安全運營部門，其實就像網絡上的大樓監控室。通過統一的監管和協調，及時發現各個部門、系統中的安全態勢、預警情報，更好地發揮網絡安全保障的作用。
談人工智能安全
人工智能帶來的社會不平等，可能更需要警惕
南都：為什么今年特別關注到人工智能安全？
嚴望佳：做安全的人其實有一種思維慣性，面對任何新的技術，都會首先考慮風險問題。不僅是人工智能，大數據、移動互聯網、工業互聯網這些新興領域，風險把控都是蠻重要的。
原因在哪？新的技術正在改變我們的時代，而且這種改變是“開弓沒有回頭箭”，沒有回頭路走的。就比如通訊軟件，現在你想要完全不用，基本上是不可能的事情。
人工智能對未來社會的影響，目前還有很多不確定因素。我們中國人很聰明，有很多做創新研究和開發應用的人，能夠特別快地進入新的領域。但如果一項新技術應用得太快，我們可能來不及看清楚其中的風險，以后真的回不了頭時就很麻煩。所以要及早研究。
南都：目前來看，人工智能應用，可能有哪些潛在風險？
嚴望佳：從網絡安全的角度，程序員編碼漏洞、數據樣本偏差等因素，都可能導致人工智能實際應用中出現決策錯誤或歧視問題。如果問題發生在涉及國計民生的重要領域，比如自動駕駛、醫療、金融，會帶來嚴重的危害。
從更宏觀的層面看，人工智能應用帶來兩方面的風險，一個是人和機器的關系，一個是人和人的關系。關于前者，現在有很多討論，未來是人控制機器？還是機器控制人？機器人會不會傷害人類？但我更擔心的其實是后者。
南都：為什么？
嚴望佳：有未來學家提出，隨著人工智能的發展，財富和權力會日益集中在擁有數據和算法的極少數精英手中，造成前所未有的社會不平等。我很認同這一看法。
未來可能只有兩種人，一種是控制人工智能的人，一種是被人工智能控制的人。如果還有第三種人，他們大概是隱居在深山，不跟社會發生任何聯系。
南都：控制了數據和算法的人，會有這么大的權力嗎？
嚴望佳：算法推薦就是很好的例子。平臺持續地收集你的數據，理由是要了解你喜歡什么，為你做更精準的推送。但反過來想，知曉了你的喜好，是不是就可以慢慢引導你，讓你喜歡它希望你喜歡的東西？不知不覺間，你被控制了。
1%的人所利用的數據，其實來源于每一個人。如果數據本身已經成為資產，帶來了權力和大量的財富，那么普通人作為數據的主體，也應該參與分配。所以我今年的另一個提案是關于大數據立法，只有通過立法，才能明確數據權屬，保護普通人的數據權益。
談人工智能倫理
法律尚未出臺時，需要用倫理準則規范應用發展
嚴望佳：因為技術上的風險，相對更好解決。倫理問題很復雜，大家首先要達成共識，哪些領域可以去發展應用，哪些領域不行。
舉個例子，2017年有外國研究者推出了“AI殺人蜂”，是一種比人的手掌還小的無人機，能夠實時捕捉和識別人臉，對目標人物進行精準獵殺。據說還很便宜，2500美元就可以買到一個。這樣的人工智能應用，可能會導致戰爭沖突的升級，想想還是挺可怕的。我認為，人工智能只能應用在對人類有益的領域，殺傷性武器方面的應用必須禁止。
南都：目前發展較快的無人駕駛領域，已經面臨很多非常具體的倫理問題。
嚴望佳：有一個著名的倫理難題，電車難題。一輛剎車壞了的有軌電車，即將撞上前方軌道上的五個人，而旁邊的備用軌道上只有一個人。你手邊有一個按鈕，按下按鈕，車會駛入備用軌道，只撞死一個人。是否應該犧牲這一個人的生命去拯救另外五個人？
在人都很難判斷的緊急情況下，無人車該怎樣決策？如果無人車馬上要發生車禍，它是保護乘客還是保護路人？一定會撞到路人的話，去撞誰？倫理原則，實際上決定著技術的發展方向。
2017年，德國已經出臺了無人駕駛道德準則，明確人的生命高于任何財產。在發生不可避免的事故時，嚴禁將人群屬性作為評判標準，比如年齡、性別、身體及精神狀況等。
在一個新的領域，立法總是會滯后于現實應用，所以需要先達成倫理上的共識，確定一些準則。關乎人類生命的事情，最終的決定權應該交給人類自身，而絕不能完全交給缺乏彈性的人工智能。
談網絡安全運營
需要獨立的網絡安全運營部門，去強化保障效果
嚴望佳：目前國家提出“網絡安全與信息化發展并重”，但在實際工作中，基層部門對網絡安全的重視程度普遍還不夠高。很常見的一種情況是，一個單位讓信息化建設承包商同時負責網絡安全建設，實際運營時出現“安全舞弊”現象。
南都：什么叫安全舞弊？
嚴望佳：網絡安全建設既然附屬于信息化建設，那么信息化部門完全可以設計一些“后門”讓網絡安全部門看不到，或者出了問題以后悄悄掩蓋。相當于信息化部門既做運動員，又做裁判員。但網絡安全部門其實應該是第三方的獨立部門，這樣才能起到真正的安全監督作用，推動安全措施去落實。
另外，現在的信息系統變得越來越復雜，不斷地進行研發迭代，安全挑戰更大，任務更重。簡單的反病毒或者反黑客的產品，已經不能滿足安全需要。所以也需要獨立的網絡安全運營部門，去強化網絡安全的保障效果。
南都：一個獨立的網絡安全運營部門，有什么優勢？
嚴望佳：比如說一個大樓，保安會有專門的監控室。大樓入口、核心資產倉庫等所有重要的地方，都裝了攝像頭。保安利用攝像頭進行24小時的監控，哪里出現可疑情況都能及時發現。
獨立的網絡安全運營部門，其實就像網絡上的大樓監控室。通過統一的監管和協調，及時發現各個部門、系統中的安全態勢、預警情報，更好地發揮網絡安全保障的作用。
（來源：南方都市報）
京公網安備11010802024551號