三、logistic回歸權(quán)重更新 _對數(shù)

在線性感知器算法中，我們使用了一個(gè)f(x)=x函數(shù)，作為激勵(lì)函數(shù) ，而在邏輯斯蒂回歸中，我們將會采用函數(shù)作為激勵(lì)函數(shù)，所以它被稱為回歸也叫對數(shù)幾率回歸（），需要注意的是，雖然它的名字中帶有回歸，但事實(shí)上它并不是一種回歸算法，而是一種分類算法。它的優(yōu)點(diǎn)是，它是直接對分類的可能性進(jìn)行建模的，無需事先假設(shè)數(shù)據(jù)分布，這樣就避免了假設(shè)分布不準(zhǔn)確所帶來的問題，因?yàn)樗轻槍τ诜诸惖目赡苄赃M(jìn)行建模的，所以它不僅能預(yù)測出類別，還可以得到屬于該類別的概率。除此之外，函數(shù)它是任意階可導(dǎo)的凸函數(shù) 。在這篇文章中，將會使用到梯度上升算法，可能有很多同學(xué)學(xué)到這里會有點(diǎn)迷糊，之前我們所使用的是，梯度下降算法為什么到這里卻使用的是梯度上升算法？
【三、logistic回歸權(quán)重更新】一、邏輯斯蒂回歸
邏輯斯蒂回歸是針對線性可分問題的一種易于實(shí)現(xiàn)而且性能優(yōu)異的分類模型，是使用最為廣泛的分類模型之一。假設(shè)某件事發(fā)生的概率為p ，那么這件事不發(fā)生的概率為(1-p)，我們稱p/(1-p)為這件事情發(fā)生的幾率。取這件事情發(fā)生幾率的對數(shù)，定義為logit(p) ，所以logit(p)為
因?yàn)閘ogit函數(shù)的輸入取值范圍為[0,1](因?yàn)閜為某件事情發(fā)生的概率)，所以通過logit函數(shù)可以將輸入?yún)^(qū)間為[0,1]轉(zhuǎn)換到整個(gè)實(shí)數(shù)范圍內(nèi)的輸出,log函數(shù)圖像如下
將對數(shù)幾率記為輸入特征值的線性表達(dá)式如下：
其中,p(y=1|x)為，當(dāng)輸入為x時(shí)，它被分為1類的概率為p ，也屬于1類別的條件概率。而，實(shí)際上我們需要的是給定一個(gè)樣本的特征輸入x，而輸出是一個(gè)該樣本屬于某類別的概率。所以，我們?nèi)ogit函數(shù)的反函數(shù)，也被稱為函數(shù)也就是函數(shù)
?(z)中的z為樣本特征與權(quán)重的線性組合。通過函數(shù)圖像可以發(fā)現(xiàn)函數(shù)的幾個(gè)特點(diǎn)，當(dāng)z趨于正無窮大的時(shí)候，?(z)趨近于1，因?yàn)楫?dāng)z趨于無窮大的時(shí)候，e^(-z)趨于零，所以分母會趨于1，當(dāng)z趨于負(fù)無窮大的時(shí)候，e^(-z)會趨于正無窮大，所以?(z)會趨于0 。如在預(yù)測天氣的時(shí)候，我們需要預(yù)測出明天屬于晴天和雨天的概率，已知根天氣相關(guān)的特征和權(quán)重，定義y=1為晴天，y=-1為雨天，根據(jù)天氣的相關(guān)特征和權(quán)重可以獲得z ，然后再通過函數(shù)可以獲取到明天屬于晴天的概率?(z)=P(y=1|x) ，如果屬于晴天的概率為80%，屬于雨天的概率為20%，那么當(dāng)?(z)>=0.8時(shí) ，就屬于雨天，小于0.8時(shí)就屬于晴天。我們可以通過以往天氣的特征所對應(yīng)的天氣，來求出權(quán)重和?(z)的閾值，也就是天氣所說的0.8 。邏輯斯蒂回歸除了應(yīng)用于天氣預(yù)測之外，還可以應(yīng)用于某些疾病預(yù)測，所以邏輯斯蒂回歸在醫(yī)療領(lǐng)域也有廣泛的應(yīng)用。
二、求邏輯斯蒂回歸的權(quán)重

文章插圖

文章插圖
在線性感知器中jquery獲取最大值，我們通過梯度下降算法來使得預(yù)測值與實(shí)際值的誤差的平方和最?。?辭蟮萌ㄖ睪豌兄?。前面我們提到過某件事情發(fā)生的幾率為p/(1-p)，而在邏輯斯蒂回歸中所定義的代價(jià)函數(shù)就是使得該件事情發(fā)生的幾率最大，也就是某個(gè)樣本屬于其真實(shí)標(biāo)記樣本的概率越大越好。如jquery獲取最大值，一個(gè)樣本的特征x所對應(yīng)的標(biāo)記為1,通過邏輯斯蒂回歸模型之后，會給出該樣本的標(biāo)記為1和為-1的概率分別是多少，我們當(dāng)然希望模型給出該樣本屬于1的概率越大越好，正因?yàn)槲覀兊拇鷥r(jià)函數(shù)需要求的是最大值，所以后面會使用到梯度上升算法而不是梯度下降算法。為了求得記錄的最大值，我們需要使用最大似然函數(shù)L，假定數(shù)據(jù)集中的每個(gè)樣本都是相互獨(dú)立的，L(w)的計(jì)算公式如下
通過上面的公式可以發(fā)現(xiàn)，當(dāng)似然函數(shù)的值非常小的晚上好，可以會出現(xiàn)數(shù)值溢出的情況為了降低這種情況發(fā)生的可能性和方便對似然函數(shù)進(jìn)行最大化處理，取似然函數(shù)的對數(shù)
通過梯度上升算法求最大化似然函數(shù)的對數(shù)或者在將似然函數(shù)的對數(shù)乘以-1使用梯度下降算法進(jìn)行最小化，通過上面的公式可以發(fā)現(xiàn)，當(dāng)y=0的時(shí)候，第一項(xiàng)為0 ，當(dāng)y=1的時(shí)候第二項(xiàng)為0，損失函數(shù)如下
通過上圖，可以觀察到，當(dāng)樣本被正確的劃分的時(shí)候損失函數(shù)是接近與0的，當(dāng)樣本被錯(cuò)誤的劃分的時(shí)候損失函數(shù)是趨于無窮大，這就意味著錯(cuò)誤的預(yù)測所帶來的代價(jià)將會越來越大，相對于之前的線性感知器而言，回歸錯(cuò)誤預(yù)測所帶來的代價(jià)要大的多。
三、回歸權(quán)重更新
相對于之前的線性感知器而言，我們只需要修改激活函數(shù)和代價(jià)函數(shù) 。在實(shí)現(xiàn)回歸之前，需要先計(jì)算出對數(shù)似然函數(shù)對于w的偏導(dǎo)，得到每次權(quán)重更新的Δω 。
所以Δω應(yīng)該為
如果使用梯度下降算法，則ω=ω-Δω，如果使用梯度上升算法ω=ω+Δω 。
本文到此結(jié)束，希望對大家有所幫助。

继夫的玩弄H辣文的小说|女人与拘性猛交视频|精品欧美高清不卡高清|一起做亏亏的事情的视频|啦啦啦在线视频观看|望月直播下载ios版本|国产日韩欧美一区二区三区

三、logistic回歸權(quán)重更新