從機(jī)器人到藥物設(shè)計(jì)，我們很難錯(cuò)過近期在新聞和我們辦公室里的“深入學(xué)習(xí)”。事實(shí)上，視覺是在我們的分類工作中利用深度學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)。什么是深度學(xué)習(xí)，為什么這么多人都聽說過？這篇文章針對(duì)的是數(shù)據(jù)科學(xué)家和機(jī)器學(xué)習(xí)實(shí)踐者，他們可能聽說過一些關(guān)于深度學(xué)習(xí)的知識(shí)，并且對(duì)了解這些嗡嗡聲是什么感興趣。不管你的背景如何，希望你能看到如何深入的學(xué)習(xí)可以應(yīng)用到你的領(lǐng)域。至少，你會(huì)有更好的裝備來接受媒體關(guān)于深度學(xué)習(xí)的報(bào)道！

　　深度學(xué)習(xí)，是什么？

　　簡(jiǎn)單地說，深入學(xué)習(xí)是：

　　1、大量的統(tǒng)計(jì)機(jī)器學(xué)習(xí)技術(shù)

　　2、支持特征層次的自動(dòng)學(xué)習(xí)。

　　3、通?；谌斯ど窠?jīng)網(wǎng)絡(luò)

　　這就是要點(diǎn)。對(duì)于一些看起來相當(dāng)直截了當(dāng)?shù)氖虑?，在新聞中有很多關(guān)于已經(jīng)取得的成就和將來可能用深度學(xué)習(xí)技術(shù)所做的事情的炒作。讓我們從一個(gè)已經(jīng)取得的成就的例子開始，來說明為什么它得到了如此多的關(guān)注。

　　然而，一個(gè)常見的誤解是“深度學(xué)習(xí)”和“無監(jiān)督學(xué)習(xí)”是同一個(gè)概念。目前有許多與神經(jīng)網(wǎng)絡(luò)無關(guān)的無監(jiān)督學(xué)習(xí)技術(shù)，幾十年來，神經(jīng)網(wǎng)絡(luò)一直被用于有監(jiān)督的學(xué)習(xí)任務(wù)。此外，近年來，采用強(qiáng)化或半監(jiān)督學(xué)習(xí)的深度學(xué)習(xí)方法得到了成功的應(yīng)用，但后兩種方法已經(jīng)使用了幾十年。

　　較重要的是，深度學(xué)習(xí)擅長(zhǎng)于基本單元、單個(gè)像素、單個(gè)頻率或單個(gè)單詞/字符本身幾乎沒有意義的任務(wù)，但這些單元的組合具有有用的意義。

　　深入學(xué)習(xí)可以在沒有人類干預(yù)的情況下學(xué)習(xí)這種有用的價(jià)值觀組合。在討論深度學(xué)習(xí)從數(shù)據(jù)中學(xué)習(xí)特征的能力時(shí)，普遍使用的示例是手寫數(shù)字的MNIST數(shù)據(jù)集。當(dāng)有數(shù)以萬計(jì)的手寫數(shù)字時(shí)，深度神經(jīng)網(wǎng)絡(luò)可以了解到，當(dāng)試圖對(duì)數(shù)字進(jìn)行分類時(shí)，尋找循環(huán)和線條是很有用的。

　　原始輸入數(shù)字在圖像的左邊。在右邊，我們看到了學(xué)習(xí)特性(過濾器)的圖形表示。從本質(zhì)上講，網(wǎng)絡(luò)學(xué)會(huì)了檢測(cè)線路和環(huán)路。

　　標(biāo)準(zhǔn)的神經(jīng)網(wǎng)絡(luò)是由“神經(jīng)元”層組成的

　　這些層通常只是前饋，并通過實(shí)例進(jìn)行訓(xùn)練(用于分類或回歸)。靈長(zhǎng)類動(dòng)物的大腦在視覺皮層上也會(huì)做類似的事情，所以希望在神經(jīng)網(wǎng)絡(luò)中使用更多的層，可以讓它學(xué)習(xí)更好的模型。然而，研究人員發(fā)現(xiàn)，具有多層結(jié)構(gòu)的訓(xùn)練模型不起作用。一般的理解是，只有淺層網(wǎng)絡(luò)(1-2層)才能被成功地訓(xùn)練.標(biāo)準(zhǔn)的淺層神經(jīng)網(wǎng)絡(luò)只有一層數(shù)據(jù)表示(見下圖)。在深度神經(jīng)網(wǎng)絡(luò)中學(xué)習(xí)，其中一個(gè)有一個(gè)或兩個(gè)以上的數(shù)據(jù)表示層，似乎是不可行的。事實(shí)上，深度學(xué)習(xí)已經(jīng)存在很久了，就像神經(jīng)網(wǎng)絡(luò)一樣–我們只是無法讓它發(fā)揮作用。

　　神經(jīng)網(wǎng)絡(luò)中的每個(gè)連續(xù)層都使用上一層的特征來學(xué)習(xí)更復(fù)雜的特征。

　　在較低的級(jí)別上，網(wǎng)絡(luò)專注于本地對(duì)比的模式，這是非常重要的。然后，下面這一層就可以使用這些局部對(duì)比的模式來專注于類似眼睛、鼻子和嘴巴的東西。頂層能夠?qū)⑦@些面部特征應(yīng)用到人臉模板中。深層神經(jīng)網(wǎng)絡(luò)能夠在其連續(xù)的每一層中合成復(fù)雜程度越來越高的特征。

　　正是這種對(duì)數(shù)據(jù)表示和特性的自動(dòng)學(xué)習(xí)，才是炒作的全部?jī)?nèi)容。這種深度神經(jīng)網(wǎng)絡(luò)的應(yīng)用已經(jīng)出現(xiàn)了一些模型，它們成功地學(xué)習(xí)了圖像、音頻和書面語言的有用的層次表示。這些領(lǐng)域中的這些學(xué)習(xí)特性層次結(jié)構(gòu)可以解釋為：

　　圖像識(shí)別：像素→邊緣→紋理→母?！考鷮?duì)象

　　文本：字符→單詞→詞組→子句→句子

　　講演：樣品→光譜帶→聲音→電話→音素

　　其中一些曾經(jīng)被認(rèn)為是機(jī)器學(xué)習(xí)中的難題，這就是為什么深層神經(jīng)網(wǎng)絡(luò)引起了如此多的關(guān)注?？梢钥隙ǖ氖?，深造將是未來更多項(xiàng)目的秘密要素。

　　總之，這些突破使深層神經(jīng)網(wǎng)絡(luò)能夠自動(dòng)學(xué)習(xí)豐富的數(shù)據(jù)表示。這一成就在計(jì)算機(jī)視覺、語音識(shí)別和自然語言處理等領(lǐng)域特別有用。

　　卷積神經(jīng)網(wǎng)絡(luò)

　　卷積神經(jīng)網(wǎng)絡(luò)(CNNs)是一種深度學(xué)習(xí)的變體，是通過對(duì)視覺皮層局部敏感和定向選擇性神經(jīng)細(xì)胞的神經(jīng)生物學(xué)研究而產(chǎn)生的。卷積神經(jīng)網(wǎng)絡(luò)是一種特殊的多層神經(jīng)網(wǎng)絡(luò)，它具有以下特點(diǎn)：CNN是一種從圖像中提取拓?fù)涮卣鞯那梆伨W(wǎng)絡(luò)。和其他幾乎所有的神經(jīng)網(wǎng)絡(luò)一樣，它是由反向傳播算法的一個(gè)版本來訓(xùn)練的。CNN的設(shè)計(jì)是為了直接從像素圖像中識(shí)別視覺模式，并進(jìn)行小到無預(yù)處理.它們可以識(shí)別具有可變性的模式，如手寫文本和自然圖像。CNN通常由卷積層、次采樣層和完全連接層組成。在CNN中，連續(xù)的卷積和次采樣層通常是交替的。

　　卷積神經(jīng)網(wǎng)絡(luò)直到近期才成為計(jì)算機(jī)視覺應(yīng)用的主流。在過去的3年中，cnn在計(jì)算機(jī)視覺問題上取得了較先進(jìn)的性能，包括圖像分類、目標(biāo)檢測(cè)、細(xì)粒度分類、圖像分割、姿態(tài)估計(jì)和自然圖像中的ocr等。通常在這些工作中，CNN是以端到端的方式進(jìn)行培訓(xùn)的，并且提供的結(jié)果比依賴精心設(shè)計(jì)的表示方式(如SIFT或HOG特性)的系統(tǒng)要好得多。這一成功在一定程度上可以歸因于CNN對(duì)局部圖像轉(zhuǎn)換的內(nèi)建不變性，這是它們學(xué)習(xí)數(shù)據(jù)分層抽象的能力的基礎(chǔ)。

　　Vision目前在我們的分類工作中與CNN一起工作，特別是對(duì)白細(xì)胞。我們注意到，與其他分類技術(shù)相比，這種方法產(chǎn)生了更快、更準(zhǔn)確的結(jié)果。我們正在推進(jìn)我們?cè)谏钊雽W(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)方面的工作，并期待著將這些網(wǎng)絡(luò)的優(yōu)勢(shì)傳遞給我們的客戶，繼續(xù)關(guān)注！