继夫的玩弄H辣文的小说|女人与拘性猛交视频|精品欧美高清不卡高清|一起做亏亏的事情的视频|啦啦啦在线视频观看|望月直播下载ios版本|国产日韩欧美一区二区三区

  1. 首頁 > 生活 > >

機器學習的學習隨想01

生活百科機器學習

【AI100 導讀】本文是作者在學習機器學習的過程中隨手記下的一些隨想，內容涉及數學原理、算法分析、系統設計和產業趨勢，腦洞隨時開放，思路經常穿越，采取微博文體寫作，不拘泥于主題 ， 一事一議，可長可短 。謬誤在所難免，目的在于拋磚引玉 。
1. 線性模型是機器學習算法當中特別重要的一個，它既是最容易入門的算法，也是效果最好的算法之一 。帶懲罰項的線性回歸和邏輯回歸，在各種問題的測試當中 ， 總是能排到前幾名去 。這就有點像形意拳里的五行拳 ， 既是入門套路，又是最高級的絕技，全看功力深淺 。
2. 機器學習的本質是根據證據（觀察到的數據）來猜測事物背后的規律 。一般來說 ， 規律是可以表示為某個函數的 。所以機器學習從某種意義上來說就是根據數據，來猜測背后支配性的規律函數 。很不嚴謹地引述一下魏爾斯特拉斯定理，一個閉區間上不管多么復雜的連續函數 ， 總可以用多項式函數的線性組合無限逼近 。所以不管多么復雜的規律，用廣義線性模型總是可以表達出來的 。有人說深度學習牛逼是因為深度學習能夠表示的復雜度高，恐怕不盡然 ， 難道線性模型不能表達很高的復雜度？深度學習真正的優勢還是在于它可以自動學習特征 。而特征工程對于線性模型來說，往往是最難搞也是最具決定性的步驟 。
3. 線性模型的另一個缺點是容易過擬合 。過擬合是所有機器學習算法的死穴，本質上并沒有好的辦法去解決 ， 但有一些控制手段 。線性模型的控制手段就是在優化目標中添加懲罰項 。
4. 帶懲罰項的線性回歸，最經典的是嶺回歸（ridge ） 。在統計學里，這個方法的大名叫做“吉洪諾夫正則化（ ）” ， 是由前蘇聯國立莫斯科大學數學系教授、蘇聯科學院院士安德烈·吉洪諾夫于1943年斯大林格勒戰役烽火連天的時候提出來的 。
安德烈·吉洪諾夫
這個數學家吉洪諾夫跟前蘇聯著名電影演員維亞切斯拉夫·吉洪諾夫好像沒什么親戚關系 。演員吉洪諾夫在《春天的十七個瞬間》里塑造的黨衛軍旗隊長施季里茨激勵普京報名參加了克格勃，是前蘇聯影視經典形象 。
維亞切斯拉夫·吉洪諾夫
然而數學家吉洪諾夫其實更牛，他21歲就從莫斯科大學拿到數學博士學位 ， 27歲當教授，33歲成院士 ， 放在哪個時代都是難以想象的天才人物 。吉洪諾夫是在研究積分問題時提出這個正則化方法的，而且很快廣為人知了 。這大概還要歸功于二戰時期形成的反法西斯聯盟 ， 使得蘇聯的科學成果也能很快傳到西方 。冷戰之后的蘇聯數學家就沒有這么幸運了，很多成果發表幾十年后都不為西方所知 。比如支持向量機，是由另一個蘇聯數學家弗拉基米爾·瓦普尼奇于1963年提出來的 ， 一直到三十年后的1992年才傳到西方 。很顯然北大人工智能公開課，如果不是蘇聯解體 ， 瓦普尼奇移民美國，這個算法沒準還會在蘇聯封閉更長時間 。附帶一提，瓦普尼奇現在在。
弗拉基米爾·瓦普尼奇
5. 另一個流行的懲罰回歸系數的線性模型算法是 LASSO ， 其提出者是斯坦福大學統計系教授羅伯特·蒂什拉尼（ ） 。
羅伯特·蒂什拉尼
話說這個教授跟斯坦福大學的另一位統計學教授合著了兩本書，其中 Theof是機器學習最經典的幾本教材之一，號稱 ESL，與 PRML 齊名 。
但由于其數學太深，難度太大，兩位教授又合著了一門簡明教程，Anto，并且以此為教材開了一門在線公開課 。我聽了一點，還是覺得吳恩達的課更對胃口，所以棄劇了 。再開個腦洞，ESL 這本書還有一個第三作者叫 ， 他是另一種懲罰線性回歸算法 的提出者 。
很巧的是機器學習名著《概率圖模型》的第二作者叫 Nir。難道叫的人很喜歡搞機器學習并且給別人做第二、三作者？不過想到經濟學家弗里德曼和著名專欄作家弗里德曼應該都不懂機器學習，我也就釋然了 。
6. 其他的懲罰線性回歸方法還有 , LARS,等 。
7. 線性模型的一大優勢是速度快，準確率又相當高，所以可以作為一個基線算法 。解決任何問題，可以首先建一個線性模型作為基準，再去試其他的算法追求高精度 。如果其他的算法效果不好，或者速度太慢，總還是可以回到線性模型 。
8. 速度快也很重要，開發中便于快速迭代調參，應用中更適用于那些需要實時出結果的場合 。前不久，地平線機器人的余凱在北大講人工智能，說他看好互聯網邊緣的嵌入式人工智能 ， 并且舉了很多例子北大人工智能公開課，是必須實時在嵌入式系統上給出判斷結果的 。我想如果他對于趨勢的判斷正確，那線性模型在未來嵌入式人工智能中肯定占據一個特別重要的位置 ， 因為它快啊 。
【機器學習的學習隨想01】本文到此結束，希望對大家有所幫助 。