4月27日，由長(zhǎng)城會(huì)和騰訊汽車共同承辦的“AI”生萬物·全球未來出行峰會(huì)在北京舉辦，活動(dòng)現(xiàn)場(chǎng)，加州大學(xué)伯克利分校計(jì)算機(jī)系教授Dawn SONG發(fā)表了主題演講。
Dawn SONG教授認(rèn)為，安全將會(huì)成為在AI應(yīng)用方面最大的挑戰(zhàn)，它需要整個(gè)行業(yè)的努力，需要更多的資金投入，“如何更好的理解，對(duì)于AI學(xué)習(xí)系統(tǒng)來說什么是安全，當(dāng)這個(gè)學(xué)習(xí)系統(tǒng)被欺騙的時(shí)候，我們?nèi)绾巫R(shí)別，如何有更強(qiáng)大的保證建立起一個(gè)具有韌性的體系?！?/p>
以下是發(fā)言實(shí)錄：
Dawn SONG：我們知道深度學(xué)習(xí)已經(jīng)在全世界起到了重要作用，比如說AlphaGo已經(jīng)贏得了世界冠軍，深度學(xué)習(xí)之后我們會(huì)為日常用品提供動(dòng)力，所以我們看到整個(gè)深度學(xué)習(xí)已經(jīng)成為了市場(chǎng)中不可磨滅的一部分。
人工智能需要更多的資金投入，使得人工智能更的快發(fā)展。隨著人工智能控制越來越多的系統(tǒng)，攻擊者將會(huì)獲得更高的激勵(lì)，但是，當(dāng)人工智能變得越來越有能力的時(shí)候，攻擊者濫用的后果將會(huì)變得更加嚴(yán)重。
給大家舉幾個(gè)例子，是關(guān)于深度學(xué)習(xí)導(dǎo)致的一些問題。在右邊圖中所示可以看到一些例子，這些圖片是由原始圖片以及待處理的圖片結(jié)合起來的，通過人眼你可以看到這些例子，而人眼是無法分辨出來原始圖片和被處理圖片之間的不同，因?yàn)樵紙D片和處理過的圖片經(jīng)過人眼識(shí)別后，它們對(duì)人眼前產(chǎn)生的效應(yīng)是相同的，所以他們能夠愚弄整個(gè)人的視覺系統(tǒng)，導(dǎo)致人的學(xué)習(xí)系統(tǒng)癱瘓，這種情況下，就會(huì)產(chǎn)生一些誤導(dǎo)。
Google在早期深度學(xué)習(xí)中發(fā)現(xiàn)了一些問題，剛開始就會(huì)發(fā)現(xiàn)這些AI很容易被愚弄，我們?yōu)槭裁匆诤踹@些東西呢？如果我們要實(shí)現(xiàn)無人駕駛的話，我們必須要觀測(cè)周圍的環(huán)境，例如說要識(shí)別公共交通信號(hào)，這樣你才能夠安全的在馬路上駕駛。
所以在圖片上可以看到，這里有一些交通標(biāo)示，對(duì)于人類眼睛來說，你可以識(shí)別這些“停止”的標(biāo)志，但是假設(shè)它是機(jī)器人呢？AI是否能夠很好的識(shí)別呢？而人類識(shí)別這些是沒有問題的，但是機(jī)器是否能識(shí)別確實(shí)是一個(gè)問題。因?yàn)檫@些停車標(biāo)志在不同的地方會(huì)有一些微調(diào)，導(dǎo)致機(jī)器識(shí)別產(chǎn)生困難。
所以，在真實(shí)世界中，在物理世界中，我們可以看到已經(jīng)發(fā)現(xiàn)了這些標(biāo)志的不同，所以我們發(fā)現(xiàn)在物理世界中這些標(biāo)志在產(chǎn)生變化的情況下，如何讓機(jī)器人不被誤導(dǎo)，是我們亟待要解決的問題。。
下面給大家播放一段視頻，這個(gè)視頻有兩個(gè)小邊框，可以看到右邊的那張圖是原始的交通標(biāo)志，左邊的這張圖是原始的交通標(biāo)志經(jīng)過了微調(diào)的效果。是否能夠正確的分辨出兩個(gè)交通標(biāo)志的不同？當(dāng)車駛過交通標(biāo)志的時(shí)候，可以看到原始的，而那個(gè)被微調(diào)過的交通標(biāo)志，整個(gè)系統(tǒng)就錯(cuò)誤的忽略了這個(gè)交通標(biāo)志的意義，最終導(dǎo)致了車禍。這就表明了物理世界中的例子，能夠在實(shí)際生活中有非常嚴(yán)重的錯(cuò)誤，特別是在那些待處理的物理世界中。
我們已經(jīng)有很多這樣的例子，在不同的區(qū)域，在不同深度學(xué)習(xí)的過程中，我們都學(xué)習(xí)到了這些東西。我的結(jié)論就是，這些例子在深度學(xué)習(xí)中非常具有普遍性，并且也很容易識(shí)別。在其他的深度學(xué)習(xí)系統(tǒng)中，比如說生成模型、圖畫到代碼之間的轉(zhuǎn)化，這些都需要深度學(xué)習(xí)?？梢钥吹揭粋€(gè)中介訓(xùn)練深度學(xué)習(xí)，做一個(gè)游戲的設(shè)計(jì)，這是非常流行的技術(shù)，AlphaGo就是用這個(gè)技術(shù)訓(xùn)練的，我們可以看到同樣的中介訓(xùn)練，這個(gè)中介訓(xùn)練的非常成功，但是在中間的那一欄（圖），我們加入了一些調(diào)整過的模型，可以看到在這里訓(xùn)練，如果對(duì)抗樣本出現(xiàn)的時(shí)候，加入了整個(gè)樣本，操作系統(tǒng)就完全錯(cuò)誤的判斷了游戲的進(jìn)程，并且失敗了。所以可以看到，抗樣本在這方面的影響有多么的大。
由于對(duì)抗樣本的重要性，我們做了很多研究，研究如何去避免對(duì)抗樣本對(duì)結(jié)果產(chǎn)生的不良影響，現(xiàn)在我們已經(jīng)可以避免機(jī)器學(xué)習(xí)帶來的一些逆反作用，同樣我們也可以訓(xùn)練一個(gè)語言安裝電子郵件數(shù)據(jù)，并且培訓(xùn)一種語言模型，該模型會(huì)包含真實(shí)的智慧安全卡和信用卡，所以在深度學(xué)習(xí)中我們需要去了解這些微調(diào)的例子。
剛剛給大家舉了一些例子，關(guān)于如何來防止操作系統(tǒng)被愚弄，黑客們同樣也能夠給大家?guī)硪恍┢渌睦_，通過攻擊你自己的學(xué)習(xí)系統(tǒng)。
這些攻擊者的目的幾乎都是相同的，他們要獲取你的秘密。比如說你收集了一些數(shù)據(jù)，你的數(shù)據(jù)是駕駛汽車的數(shù)據(jù)，或者說是通過測(cè)試出來的數(shù)據(jù)，他們需要攻擊，并且能夠取得這些數(shù)據(jù)，這些數(shù)據(jù)非常敏感，這些攻擊者能通過攻擊來獲取你的數(shù)據(jù)嗎？所以在日常生活中我們進(jìn)行了一項(xiàng)研究，我們的研究表明，通過我們訓(xùn)練的語言模型，對(duì)郵件數(shù)據(jù)集中進(jìn)行了語言模型的訓(xùn)練，數(shù)據(jù)集里面包括非常敏感的信息，包括人的信用卡和社保號(hào)，結(jié)果表明通過這樣一個(gè)模型，哪怕是我們不了解的細(xì)節(jié)，通過這次攻擊，攻擊者可以竊取社保號(hào)、信用卡號(hào)，但是，如果我們要有不同的機(jī)器學(xué)習(xí)的模型來保護(hù)隱私，我們就可以使得攻擊變得非常的困難。
我們要保證云端的機(jī)器學(xué)習(xí)，保護(hù)好用戶的敏感信息，特別是在我們關(guān)注機(jī)器學(xué)習(xí)系統(tǒng)的時(shí)候，有幾種不同類型的威脅，需要我們非常謹(jǐn)慎的處理。一種是在機(jī)器學(xué)習(xí)的系統(tǒng)當(dāng)中，用戶的信息被收集起來了，進(jìn)行了分析，項(xiàng)目的運(yùn)行，這個(gè)項(xiàng)目將會(huì)執(zhí)行和預(yù)測(cè)最后的結(jié)果。在這個(gè)情景當(dāng)中，有兩種類型的信息需要關(guān)注，一種是非信任的機(jī)器學(xué)習(xí)，機(jī)器本身不需要得到信任，也許他在襲擊之下，分析師的賬戶受到了威脅，同時(shí)計(jì)算的基礎(chǔ)設(shè)施也會(huì)受到威脅，最后計(jì)算的結(jié)果也許會(huì)展示之前輸入的敏感信息，就像我剛才講到的郵件數(shù)據(jù)的例子。
從這幾個(gè)例子中可以看到，我們開發(fā)了不同的技術(shù)，包括基本的程序撰寫和要保證那些不可信的項(xiàng)目得到識(shí)別，使得這個(gè)程序能夠滿足安全要求。我們要使用安全的硬件，保證安全的競(jìng)爭(zhēng)，能夠有一個(gè)非常值得信任的計(jì)算基礎(chǔ)設(shè)施，我們可以通過區(qū)分式的隱私措施保證在最終的輸入當(dāng)中不會(huì)讓我們產(chǎn)出敏感的輸出信息。
利用各種各樣的技術(shù)，就可以建立起安全和隱私保護(hù)的平臺(tái)。 總結(jié)一下，我們有非常多的開放式的挑戰(zhàn)來部署機(jī)器學(xué)習(xí)，比如說，如何更好的理解，對(duì)于AI學(xué)習(xí)系統(tǒng)來說什么是安全，當(dāng)這個(gè)學(xué)習(xí)系統(tǒng)被欺騙的時(shí)候，我們?nèi)绾巫R(shí)別，如何有更強(qiáng)大的保證建立起一個(gè)具有韌性的體系。我認(rèn)為，安全將會(huì)成為在AI應(yīng)用方面最大的挑戰(zhàn)，它需要整個(gè)行業(yè)的努力，我們要共同應(yīng)對(duì)這個(gè)挑戰(zhàn)。
