深度學(xué)習(xí)中的一些基礎(chǔ)知識 _導(dǎo)數(shù)

1.Epoch和
1.1 Epoch
搜索百度后會發(fā)現(xiàn)在模型中引入解釋變量，有一個重要的翻譯：”紀元” 。什么是紀元呢？
在古代，通常一位皇帝登基到落幕稱為一個年號紀元，中途改政則更換年號重新計算紀元；在現(xiàn)代社會，通常一個世紀，100年，稱為一個紀元。
在深度學(xué)習(xí)中沒有100年，沒有皇帝的概念，但深度學(xué)習(xí)中有數(shù)據(jù)集的概念。
抽象一下，100年看成一個龐大的數(shù)據(jù)集，你的大腦相當(dāng)于一個模型。我們從2000年開始，到2100結(jié)束為一個紀元，這期間所經(jīng)歷的事。人等等，都要完整輸入到你的大腦（模型），到最后你躺著椅子上會給出一個答案，我有沒有虛度這一生。
即在深度學(xué)習(xí)中Epoch：所有訓(xùn)練樣本都已經(jīng)輸入到模型中，稱為一個 Epoch 。比如你有100W條，則代表100W都輸入到了模型中
1.2
搜索百度我們會理解，中文為：批大小
還記得上面Epoch舉的例子嗎？如果不分批，直接將這100年所有的信息輸入到一個人的大腦（模型），模型會訓(xùn)練緩慢，加重CPU或者GPU的負擔(dān)，也無法獲得一個好的結(jié)果。所以我們會分批輸入數(shù)據(jù) 。比如==100等等。
同時要注意：和of是不同的
比如1W條數(shù)據(jù)，==100的情況下，就會劃分出100個即 of
1.3
同樣搜索百度會發(fā)現(xiàn)，有一個重要的翻譯：”迭代” 。什么是迭代呢？
這里要區(qū)分清楚，迭代和遞歸的含義。
即
遞歸：指的是在函數(shù)定義中使用函數(shù)自身的方法。（A調(diào)用A）
迭代：重復(fù)反饋過程的活動，每一次迭代的結(jié)果會作為下一次迭代的初始值。（A重復(fù)調(diào)用B）
那在深度學(xué)習(xí)中充當(dāng)什么角色呢？
舉個例子：1W條數(shù)據(jù)，分成100個，那么就是100 。運行所有的數(shù)據(jù)進行訓(xùn)練，完成1個epoch，需要進行100次。
就好比這篇文章很長，看完這篇文章稱為一個Epoch，其中作者分為了4個版塊，即我需要分步看4次()，每塊2500字為大小。經(jīng)過多倫Epoch閱讀，最終給予一個正確的評價。
2.反向傳播
神經(jīng)網(wǎng)絡(luò)的推理所進行的處理相當(dāng)于神經(jīng)網(wǎng)絡(luò)的正向傳播。顧名思義，正向傳播是從輸入層到輸出層的傳播。此時，構(gòu)成神經(jīng)網(wǎng)絡(luò)的各層從輸入向輸出方向按順序傳播處理結(jié)果。之后我們會進行神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)，那時會按與正向傳播相反的順序傳播數(shù)據(jù)（梯度），所以稱為反向傳播
2.1 鏈式法則
鏈式法則是復(fù)合函數(shù)的求導(dǎo)法則在模型中引入解釋變量，其中復(fù)合函數(shù)是由多個函數(shù)構(gòu)成的函數(shù) 。理解誤差反向傳播法的關(guān)鍵是鏈式法則
y = f(x) 和 z = g(y) 這兩個函數(shù) 。如 z = g(f(x)) 所示，最終的輸出 z 由兩個函數(shù)計算而來。此時，z 關(guān) 于 x 的導(dǎo)數(shù)可以按下式求得：
鏈式法則的重要之處在于，無論我們要處理的函數(shù)有多復(fù)雜（無論復(fù)合了多少個函數(shù)），都可以根據(jù)它們各自的導(dǎo)數(shù)來求復(fù)合函數(shù)的導(dǎo)數(shù) 。也就是說，只要能夠計算各個函數(shù)的局部的導(dǎo)數(shù) ，就能基于它們的積計算最終的整體的導(dǎo)數(shù) 。
2.2 正向傳播
2.3 反向傳播
反向傳播用藍色的粗箭頭表示，在箭頭的下方標注傳播的值。此時，傳播的值是指最終的輸出 L 關(guān)于各個變量的導(dǎo)數(shù) 。
關(guān)于 z 的導(dǎo)數(shù)是 ?L /?z，關(guān)于 x 和 y 的導(dǎo)數(shù)分別是 ?L /?x 和 ?L /?y
利用鏈式法則，反向傳播中流動的導(dǎo)數(shù)的值是根據(jù)從上游（輸出側(cè)）傳來的導(dǎo)數(shù)和各個運算節(jié)點的局部導(dǎo)數(shù) 之積求得的。因此，在上面的例子中， ?L/?x = ?L/?z?z/?x ， ?L/?y = ?L/?z?z/?y
2.4 加法節(jié)點
z = x + y 這個基于加法節(jié)點的運算。此時，分別解析性地求得 ?z/?x = 1， ?z/?y = 1 。所以
加法節(jié)點將上游傳來的值乘以 1，再將該梯度向下游傳播。也就是說，只是原樣地將從上游傳來的梯度傳播出去
2.5 乘法節(jié)點
乘法節(jié)點是 z = x × y 這樣的計算。此時，導(dǎo)數(shù)可以分別求出，即 ?z/?x = y 和 ?z/?y = x 。因此，乘法節(jié)點的反向傳播會將“上游傳來的梯度”乘以“將正向傳播時的輸入替換后的值” 。
2.6 分支節(jié)點
嚴格來說，分支節(jié)點并沒有節(jié)點，只有兩根分開的線。此時，相同的值被復(fù)制并分叉。因此，分支節(jié)點也稱為復(fù)制節(jié)點。反向傳播是上游傳來的梯度之和。
后續(xù)更新RNN、LSTM、知識
【深度學(xué)習(xí)中的一些基礎(chǔ)知識】本文到此結(jié)束，希望對大家有所幫助。

继夫的玩弄H辣文的小说|女人与拘性猛交视频|精品欧美高清不卡高清|一起做亏亏的事情的视频|啦啦啦在线视频观看|望月直播下载ios版本|国产日韩欧美一区二区三区

深度學(xué)習(xí)中的一些基礎(chǔ)知識