,系統(tǒng)工程Presentation,人工神經(jīng)網(wǎng)絡(luò),技術(shù)已成為生命的第七種存在方式,Technology has become the seventh way of existence of life,1,歷史發(fā)展,代表人物,理論內(nèi)容,簡介,2,年度工作概述,此處添加詳細文本描述，建議與標(biāo)題相關(guān)并符合整體語言風(fēng)格，語言描述盡量簡潔生動。盡量將每頁幻燈片的字?jǐn)?shù)控制在200字以內(nèi)，據(jù)統(tǒng)計每頁幻燈片的最好控制在5分鐘之內(nèi)。 此處添加詳細文本描述，建議與標(biāo)題相關(guān)并符合整體語言風(fēng)格,3,倫敦當(dāng)?shù)貢r間10月18日18：00（北京時間19日01：00），谷歌旗下的DeepMind團隊公布了進化后的最強版AlphaGo，代號AlphaGo Zero。 AlphaGo Zero的系統(tǒng)從一個對圍棋一無所知的神經(jīng)網(wǎng)絡(luò)開始，將該神經(jīng)網(wǎng)絡(luò)和一個強力搜索算法結(jié)合，自我對弈。在對弈過程中，神經(jīng)網(wǎng)絡(luò)不斷調(diào)整、升級，預(yù)測每一步落子和最終的勝利者,計算機信息處理能力高于人類，但識別能力比人類相去甚遠 計算機依靠模型運算 人腦并行處理信息,機器會思考嗎？,4,由大量簡單的基本元件神經(jīng)元相互連接，通過模擬人的大腦神經(jīng)處理信息的方式，進行信息并行處理和非線性轉(zhuǎn)換的復(fù)雜網(wǎng)絡(luò)系統(tǒng)。,人工神經(jīng)網(wǎng)絡(luò) （Artificial Neutral Networks）,5,工作完成情況,此處添加詳細文本描述，建議與標(biāo)題相關(guān)并符合整體語言風(fēng)格，語言描述盡量簡潔生動。盡量將每頁幻燈片的字?jǐn)?shù)控制在200字以內(nèi)，據(jù)統(tǒng)計每頁幻燈片的最好控制在5分鐘之內(nèi)。 此處添加詳細文本描述，建議與標(biāo)題相關(guān)并符合整體語言風(fēng)格,6,歷史發(fā)展,提出 “機器思維”的方法,提出自適應(yīng)線性元件,感知機使神經(jīng)網(wǎng)絡(luò)走向低谷,確定人工智能的概念,人工神經(jīng)網(wǎng)絡(luò)的構(gòu)造和學(xué)習(xí)有了理論指導(dǎo)，神經(jīng)網(wǎng)絡(luò)開始復(fù)興,Rumelhart和McClelland發(fā)展了BP算法,2006,1955,2009,1969,2014,1986,1949 （1947）,1959,1984,7,歷史發(fā)展,Deep Learning發(fā)表，深度學(xué)習(xí)真正被學(xué)學(xué)術(shù)界接受,吳恩達和谷歌科學(xué)家合作，模擬人腦神經(jīng)網(wǎng)絡(luò)，自主學(xué)習(xí)到“貓”,AlphaGo打敗李世石，人工智能成為熱門話題,2006,2012,2009,2015,2014,2016,1949,1984,8,工作完成情況,此處添加詳細文本描述，建議與標(biāo)題相關(guān)并符合整體語言風(fēng)格，語言描述盡量簡潔生動。盡量將每頁幻燈片的字?jǐn)?shù)控制在200字以內(nèi)，據(jù)統(tǒng)計每頁幻燈片的最好控制在5分鐘之內(nèi)。 此處添加詳細文本描述，建議與標(biāo)題相關(guān)并符合整體語言風(fēng)格,9,代表人物,艾倫·麥席森·圖靈 Alan Mathisn Turing 英國數(shù)學(xué)家、邏輯學(xué)家，被稱為計算機科學(xué)之父，人工智能之父。,約翰·霍普菲爾德 John Hopfueld 提出了霍普菲爾德神經(jīng)網(wǎng)絡(luò),使神經(jīng)網(wǎng)絡(luò)的平衡穩(wěn)定狀態(tài)有了明確的判斷方法,杰弗里辛頓 Geoffrey Hinton 谷歌工程研究員，多倫多大學(xué)計算機科學(xué)系教授，反向傳播算法和對比散度算法的發(fā)明人之一,揚·勒丘恩 Yann LeCun 師從杰弗里·辛頓，AT&T貝爾實驗室成員，第一個把BP算法運用在卷積神經(jīng)網(wǎng)絡(luò)上的人,吳恩達 Andrew Ng 斯坦福大學(xué)計算機科學(xué)系和電子工程系副教授，人工智能實驗室主任。人工智能和機器學(xué)習(xí)領(lǐng)域最權(quán)威的學(xué)者之一。,戴密斯·哈薩比斯 Demis Hassabis DeepMind創(chuàng)始人。人工智能程序AlphaGo的開發(fā)者，神經(jīng)學(xué)家和人工智能企業(yè)家,10,工作完成情況,此處添加詳細文本描述，建議與標(biāo)題相關(guān)并符合整體語言風(fēng)格，語言描述盡量簡潔生動。盡量將每頁幻燈片的字?jǐn)?shù)控制在200字以內(nèi)，據(jù)統(tǒng)計每頁幻燈片的最好控制在5分鐘之內(nèi)。 此處添加詳細文本描述，建議與標(biāo)題相關(guān)并符合整體語言風(fēng)格,11,研究機器模擬人類的學(xué)習(xí)活動，獲取知識和技能的理論和方法，以改善系統(tǒng)性能的學(xué)科。,機器學(xué)習(xí) （Machine Learning）,12,機器學(xué)習(xí),學(xué)習(xí)方法： 統(tǒng)計學(xué)習(xí) 決策樹 遷移學(xué)習(xí) 增量學(xué)習(xí) ,If (color is deep red apple is sweet. If (flexible): apple is juicy. etc.,買蘋果： 標(biāo)準(zhǔn)1：蘋果=熟了,甜 標(biāo)準(zhǔn)2：個大+紅色的蘋果=甜 標(biāo)準(zhǔn)3 標(biāo)準(zhǔn)4 ,13,大腦的智慧是一種非線性現(xiàn)象； 人工神經(jīng)元處于激活或抑制兩種不同狀態(tài)，在數(shù)學(xué)上表現(xiàn)為非線性關(guān)系； 具有閾值的神經(jīng)元所構(gòu)成的網(wǎng)絡(luò)具有較好的容錯性、存儲能力,非線性,一個神經(jīng)網(wǎng)絡(luò)由多個神經(jīng)元廣泛連接而成 系統(tǒng)的整體行為不僅取決于單個神經(jīng)元的特征，同時由單元間的相互連接、相互作用決定,非局限性,人工神經(jīng)網(wǎng)絡(luò)具有自適應(yīng)、自組織、自學(xué)習(xí)能力 系統(tǒng)處理的信息可以有各種變化，系統(tǒng)本身也在不斷變化,非常定性,系統(tǒng)的演化方向，在一定條件下取決于某個特定的狀態(tài)函數(shù)，其極值對應(yīng)系統(tǒng)比價比較穩(wěn)定的狀態(tài) 人工神經(jīng)網(wǎng)絡(luò)匯總這種函數(shù)具有多個極值，系統(tǒng)具有多個較穩(wěn)定的平衡態(tài)，系統(tǒng)演化存在多樣性,非凸性,14,構(gòu)造神經(jīng)元,人工神經(jīng)網(wǎng)絡(luò)的基本單位：人工神經(jīng)元,15,構(gòu)造神經(jīng)元,構(gòu)造神經(jīng)元,s= 1 1 + 2 2 + 3 3 + ,a=0,n0 a=1,n0,s= 1 1 + 2 2 + 3 3 + +×1,16,傳遞函數(shù),神經(jīng)元：多個輸入、單輸出的非線性器件,17,此處添加詳細文本描述，建議與標(biāo)題相關(guān)并符合整體語言風(fēng)格，語言描述盡量,1（紅色）,1（圓形）,-1（黃色）,-1（彎型）,感知機學(xué)習(xí),18,感知機學(xué)習(xí),顏色和形狀對神經(jīng)元來說都是外界的一個刺激，在這里有： 1 顏色 =1 or 1 2 形狀 =1 or 1 預(yù)設(shè)： 1 = 2 =1 b=0,對蘋果的判定： =1×1+1×1+0=2 對香蕉的判定： =1×1+ 1 ×1+0=2,step(2)=1 step(-2)=0,19,感知機學(xué)習(xí),感知機學(xué)習(xí)規(guī)則修改神經(jīng)網(wǎng)絡(luò)的權(quán)值和偏置 w new =w old +ep b new =b old +e,設(shè) 1 =1， 2 =1，=0， 蘋果的形狀和顏色均輸入屬性1： s= 1 1 + 2 2 + =11+0 =0 套用step函數(shù)：f=0,計算誤差：e=t-z=1-0=1 帶入學(xué)習(xí)規(guī)則： w 1 = w 1 +ep=1+1×1=2 w 2 = w 2 +ep=1+1×1=0 b=b+e=0+1=1,重新計算屬性輸入： net= 1 1 + 2 2 +=1×2+1×0+1=3 套用step函數(shù)： f(step)=1,20,信號源：外界刺激 上一神經(jīng)元輸出信號,輸出：神經(jīng)元輸出結(jié)果 下一神經(jīng)元的信號源,構(gòu)造神經(jīng)網(wǎng)絡(luò),單層神經(jīng)網(wǎng)絡(luò),21,AND運算：,線性不可分運算：,構(gòu)造神經(jīng)網(wǎng)絡(luò),分類邏輯運算：,0 and 0=0 香蕉,1 and 1=1 蘋果,0 and 1=0 香蕉?,1 and 0=0 香蕉?,22,可見層：輸入節(jié)點 輸出節(jié)點,隱層：中間層 （第一隱層、第二隱層。）,構(gòu)造神經(jīng)網(wǎng)絡(luò),每一隱層都是一個單層神經(jīng)網(wǎng)絡(luò) 上一層輸出只能是下一層輸入，不可跨層鏈接,多層神經(jīng)網(wǎng)絡(luò)（前饋神經(jīng)網(wǎng)絡(luò)）,23,前向網(wǎng)絡(luò)：每一層神經(jīng)元只接受來自前一層神經(jīng)元的輸入，后面的層對前面的層沒有信號反饋。,構(gòu)造神經(jīng)網(wǎng)絡(luò),有反饋的前向網(wǎng)絡(luò)：輸出層對輸入層有信息反饋,層內(nèi)有相互結(jié)合的前向網(wǎng)絡(luò)：通過層內(nèi)神經(jīng)元的相互結(jié)合，實現(xiàn)同層神經(jīng)元之間的橫向抑制或興奮機制,相互結(jié)合型網(wǎng)絡(luò)（全互連或部分互連）：在任意兩個神經(jīng)元之間都有可能有連接（僅限于同層或前向）,24,神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)（訓(xùn)練）方式,監(jiān)督學(xué)習(xí)（Supervised Learning，SL）：,25,神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)（訓(xùn)練）方式,無監(jiān)督學(xué)習(xí)（Nonsupervised Learning，NSL）：,26,輸入你的文本內(nèi)容輸入你的文本內(nèi)容,2015年年終總結(jié)計劃,THANKS,27,