過(guò)去一年里,人工智能、數(shù)據(jù)科學(xué)、機(jī)器學(xué)習(xí)研究有哪些重大進(jìn)展?在接下來(lái)的 2021 年又有哪些主要趨勢(shì)?
2020 年終于要結(jié)束了。也許這不會(huì)是誰(shuí)都喜歡的一年,但 2020 在我們的領(lǐng)域中確實(shí)有了一些顯著的進(jìn)步,而 2021 也有一些值得期待的重要趨勢(shì)。作為年終的傳統(tǒng),我們的專家們?cè)俅伟l(fā)表了他們的看法。請(qǐng)繼續(xù)閱讀以了解更多信息。
絕對(duì)沒(méi)有人會(huì)感到懊惱,2020 年終于接近尾聲了。新冠肺炎大流行幾乎完全定義了這一年,猶如過(guò)山車一般。但在 2020 年也發(fā)生了其他一些事情,包括人工智能、數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)等領(lǐng)域。為此,現(xiàn)在是 KDnuggets 年度年終專家進(jìn)行分析和預(yù)測(cè)的時(shí)候了。
人工智能、數(shù)據(jù)科學(xué)、機(jī)器學(xué)習(xí)研究在 2020 有哪些重大進(jìn)展?2021 年趨勢(shì)如何?
過(guò)去一年最引人注目的發(fā)展和預(yù)測(cè) 包括許多研究領(lǐng)域的持續(xù)進(jìn)步,特別是自然語(yǔ)言處理。盡管人們對(duì) 2020 年在自然語(yǔ)言處理方面取得的巨大進(jìn)展是否像最初(或者現(xiàn)在)那樣令人生畏仍存在爭(zhēng)議,但毫無(wú)疑問(wèn),2020 年的自然語(yǔ)言處理研究仍然受到了持續(xù)而強(qiáng)烈的關(guān)注。不難猜測(cè),這種情況也將持續(xù)到 2021 年。
像倫理和多樣性這樣的主題已經(jīng)在 2019 年占據(jù)了中心舞臺(tái),在過(guò)去的一年中,它們已經(jīng)占據(jù)了中心舞臺(tái)。人們似乎已經(jīng)從將多樣性、倫理學(xué)以及相關(guān)的主題看作是邊緣問(wèn)題,轉(zhuǎn)向?qū)⑺鼈兣c技術(shù)一起作為機(jī)器學(xué)習(xí)的核心考慮。我們希望這一趨勢(shì)能夠持續(xù)到 2021 年甚至更久。
對(duì)于 202 1 年的主要發(fā)展 趨勢(shì),我們的專家小組如何看待?他們認(rèn)為 2021 年的主要趨勢(shì)是什么?
這一年,我們的小組由以下成員組成:Dan Becker、Pedro Domingos、Ajit Jaokar、Ines Montani、Brandon Rohrer、Dipanjan Sarkar、Rosaria Silipo、Rachael Tatman 和 Daniel Tunkelang 組成。
相對(duì)于過(guò)去的幾年,我們更要感謝我們的作家們,在這個(gè)動(dòng)蕩的時(shí)代,在百忙之中抽出時(shí)間和我們的讀者們分享他們的觀點(diǎn)。
本文是未來(lái)一周發(fā)布的三篇系列文章中的第一篇— 研究篇。盡管這三篇文章被分為研究、技術(shù)和行業(yè)三個(gè)領(lǐng)域,但它們之間存在相當(dāng)多的重疊,這是可以理解的,因此,我們建議,在這三篇文章全部發(fā)表后,請(qǐng)閱讀所有文章。
閑話少敘,下面是專家小組今年提出的 2020 年的主要趨勢(shì)和 2021 年的預(yù)測(cè)。
Dan Becker(@dan_s_becker):Decision AI 的創(chuàng)始人,此前曾創(chuàng)立 Kaggle Learn。
今年的機(jī)器學(xué)習(xí)研究遵循了以下既定的主題:
Transformer:GPT-3 是今年所有開發(fā)項(xiàng)目中最受關(guān)注的項(xiàng)目,它展示了 Transformer 模型的不斷發(fā)展,該模型經(jīng)過(guò)了大規(guī)模語(yǔ)料庫(kù)的訓(xùn)練。同時(shí),我們還看到了首次成功地將 Transformer 用于計(jì)算機(jī)視覺(jué)方面的實(shí)驗(yàn),而計(jì)算機(jī)視覺(jué)在歷史上是由卷積網(wǎng)絡(luò)主導(dǎo)的。
生成模型:像 Vid2Player 這樣的研究表明,計(jì)算機(jī)生成的視頻的質(zhì)量水平超出了我們過(guò)去所看到的水平。生成式模型的社會(huì)影響將是巨大而難以預(yù)測(cè)的。
強(qiáng)化學(xué)習(xí):我發(fā)現(xiàn),與前幾年相比,2020 年人們對(duì)強(qiáng)化學(xué)習(xí)的關(guān)注度有所下降。但是在統(tǒng)一政策下,跨任務(wù)的遷移學(xué)習(xí)看起來(lái)非常有前途。我預(yù)計(jì)這在未來(lái)幾年內(nèi)的重要性會(huì)低于 GPT-3,但在更長(zhǎng)的時(shí)間范圍內(nèi),可能會(huì)變得重要得多。大多數(shù)人并沒(méi)有意識(shí)到,一旦強(qiáng)化學(xué)習(xí)能夠更可靠地工作,它就會(huì)產(chǎn)生巨大的影響。
2021 年:
概率編程和貝葉斯模型:我們已經(jīng)看到了很多新的概率編程語(yǔ)言的實(shí)驗(yàn)。這讓我想起五年前我在深度學(xué)習(xí)框架中看到的實(shí)驗(yàn)。因此,我希望概率編程是 2021 年的一個(gè)主要趨勢(shì),盡管它也需要對(duì)用戶進(jìn)行更多的教育,以利用新工具。
GPT-4:隨著越來(lái)越多的人使用 GPT-3 進(jìn)行實(shí)驗(yàn),我想我們會(huì)發(fā)現(xiàn)它有點(diǎn)不夠?qū)嵱?。從最近的趨?shì)推斷來(lái)看,GPT-4 將會(huì)好得多,并有可能越過(guò)實(shí)際有用的門檻。
用于結(jié)構(gòu)化數(shù)據(jù)的 GPU:NVIDIA RAPIDS 團(tuán)隊(duì)正在開發(fā)數(shù)據(jù)科學(xué)工具,這些工具有望突飛猛進(jìn),超越我們?cè)谶^(guò)去十年中所見到的任何一種工具。我的感覺(jué)是,這個(gè)軟件還沒(méi)有準(zhǔn)備好進(jìn)入黃金時(shí)代,但到了 2021 年可能會(huì)實(shí)現(xiàn)。
AutoML 變得乏味:大多數(shù)數(shù)據(jù)科學(xué)家仍在通過(guò)臨時(shí)實(shí)驗(yàn)來(lái)調(diào)整參數(shù)。用更多的自動(dòng)化解決方案只是個(gè)時(shí)間問(wèn)題,明年也許就會(huì)實(shí)現(xiàn)了。
強(qiáng)化學(xué)習(xí)變得實(shí)際有用:這是我最興奮的地方。傳統(tǒng)的機(jī)器學(xué)習(xí)專注于預(yù)測(cè),但很少有數(shù)據(jù)科學(xué)家優(yōu)化決策層,將這些預(yù)測(cè)轉(zhuǎn)化為現(xiàn)實(shí)世界的業(yè)務(wù)決策。這造成了模型準(zhǔn)確而無(wú)用。到 2021 年,我們將會(huì)看到思維方式的轉(zhuǎn)變,即在復(fù)雜環(huán)境中使用模型來(lái)做出優(yōu)化決策。
Pedro Domingos(@pmddomingos):華盛頓大學(xué)計(jì)算機(jī)科學(xué)與工程系教授。
依我看,2020 年的主要發(fā)展是以圖神經(jīng)網(wǎng)絡(luò)和神經(jīng)符號(hào)人工智能作為主要研究方向的出現(xiàn)。到 2021 年,我們將會(huì)看到后者包含前者。圖神經(jīng)網(wǎng)絡(luò)是一種有限的關(guān)系學(xué)習(xí)形式,不久之后,我們就可以用神經(jīng)符號(hào)方法來(lái)完成圖神經(jīng)網(wǎng)絡(luò)的所有功能。
之后,需要為特定應(yīng)用打開具有代表性的功能表盤,這通常是過(guò)度控制和擴(kuò)展性的常見問(wèn)題。到了高級(jí)階段,神經(jīng)符號(hào)人工智能可以把我們帶到人類級(jí)別的人工智能,這是一個(gè)萬(wàn)億級(jí)的問(wèn)題。
Ajit Jaokar(@ajitjaokar):牛津大學(xué)《人工智能:云端和邊緣的實(shí)現(xiàn)》(Artificial Intelligence: Cloud and Edge implementations)課程的課程總監(jiān)、企業(yè)家。
2020 年是新冠肺炎疫情爆發(fā)的一年,但也是科技領(lǐng)域的一年。通過(guò) MLOps 的部署,人工智能逐漸成熟。云計(jì)算平臺(tái)(如:AWS、Azure、GCP)也在人工智能的各個(gè)領(lǐng)域推動(dòng)創(chuàng)新,包括在邊緣設(shè)備上使用人工智能。在 NVIDIA 收購(gòu)了 ARM 之后,我期待著這個(gè)領(lǐng)域出現(xiàn)更多的創(chuàng)新。
自然語(yǔ)言處理 (GPT-3 和其他模型) 是人工智能領(lǐng)域的主要趨勢(shì)。對(duì)于 2021 年來(lái)說(shuō),真正的問(wèn)題是:小樣本學(xué)習(xí)模型(比如 GPT-3)是否會(huì)改變模型的構(gòu)建的方式?不像傳統(tǒng)的用數(shù)據(jù)反映來(lái)建立模型,我們可以把它顛倒過(guò)來(lái)。只要用一個(gè)很大的模型就可以認(rèn)為是向前傳遞的,即模型 → 問(wèn)題 → 推理。
當(dāng)然,我們需要一個(gè)像 GPT-3 這樣的大型預(yù)訓(xùn)練模型。假如這一趨勢(shì)真的開始的話,那么接下來(lái)的兩年里,人工智能將會(huì)發(fā)生改變。
到 2021 年,傳統(tǒng)的機(jī)器學(xué)習(xí)模型可能會(huì)成為一種商品,也就是說(shuō),每個(gè)人都可以使用某種形式的基本機(jī)器學(xué)習(xí)或深度學(xué)習(xí)。這樣我們就可以從數(shù)據(jù)科學(xué)轉(zhuǎn)向決策科學(xué)。
數(shù)據(jù)科學(xué)的輸出是一個(gè)具有性能指標(biāo)(例如準(zhǔn)確性)的模型。有了決策科學(xué),我們能夠進(jìn)一步提出行動(dòng)建議并執(zhí)行這些行動(dòng)。也就是說(shuō),諸如強(qiáng)化學(xué)習(xí)等算法將在 2021 年或更長(zhǎng)時(shí)間內(nèi)成為主流。
Ines Montani(@_inesmontani):Explosion 的聯(lián)合創(chuàng)始人,從事人工智能和自然語(yǔ)言處理技術(shù)的軟件開發(fā)者。
2020 年是不平凡的一年,盡管我們?cè)谶@一領(lǐng)域看到了許多令人振奮的進(jìn)展,但我認(rèn)為,最重要的進(jìn)展是鞏固而非革命。這一技術(shù)在前幾年發(fā)展迅速,對(duì)于很多公司來(lái)說(shuō),等待是明智的選擇。如今,計(jì)算方式發(fā)生了變化,人們對(duì)哪些項(xiàng)目可能會(huì)成功有了更好的了解。
構(gòu)建原型并將機(jī)器學(xué)習(xí)應(yīng)用于業(yè)務(wù)問(wèn)題從未如此簡(jiǎn)單,但是縮小原型設(shè)計(jì)和將成功的項(xiàng)目交付給生產(chǎn)之間的差距仍然是一個(gè)挑戰(zhàn)。到 2021 年,我們將會(huì)看到越來(lái)越多的人開始關(guān)注機(jī)器學(xué)習(xí)項(xiàng)目的整個(gè)生命周期:從原型到生產(chǎn),從迭代開發(fā)到持續(xù)維護(hù)和監(jiān)控。
Brandon Rohrer :iRobot 的首席數(shù)據(jù)科學(xué)家,也是端到端機(jī)器學(xué)習(xí)的講師
卷積和遞歸神經(jīng)網(wǎng)絡(luò)已經(jīng)開始顯示,它們并不能像我們所希望的那樣很好地解決每一個(gè)問(wèn)題。今年有兩篇論文總結(jié)了這一趨勢(shì)。這篇題為《硬件彩票》(The Hardware Lottery)的論文,描述了哪些算法能夠嶄露頭角并成為根深蒂固的行業(yè)標(biāo)準(zhǔn),這其中有多少偶然性。
此外,這篇題為《描述不足對(duì)現(xiàn)代機(jī)器學(xué)習(xí)的可信度提出了挑戰(zhàn)》(Underspecification Presents Challenges for Credibility in Modern Machine Learning)的論文,則對(duì)我們一直以來(lái)評(píng)估模型和衡量進(jìn)展的方式提出了嚴(yán)厲的批評(píng)。這些都是好事。在 2021 年,如果我們選擇的話,我們可以投資于探索并解決一系列的新問(wèn)題。
此外,由于新冠肺炎疫情使我們別無(wú)選擇,我們開始開發(fā)用于遠(yuǎn)程教學(xué)、分布式團(tuán)隊(duì)和異步工作的工具和實(shí)踐。2020 年的機(jī)器學(xué)習(xí)研究環(huán)境會(huì)讓我們 2019 年的自己都認(rèn)不出來(lái)。我預(yù)測(cè),到 2021 年,在線教學(xué)和協(xié)作的質(zhì)量和質(zhì)量將翻一番。
Dipanjan Sarkar:Applied Materials 數(shù)據(jù)科學(xué)負(fù)責(zé)人、Google 機(jī)器學(xué)習(xí)領(lǐng)域的開發(fā)專家、出版作家和顧問(wèn)。
根據(jù)我去年的預(yù)測(cè),2020 年理所當(dāng)然地成為了自然語(yǔ)言處理的一年,而 Transformer 為輕松解決答題、搜索和翻譯等棘手問(wèn)題鋪平了道路。可解釋的人工智能也已經(jīng)開始走出“期望膨脹”的 Gartner 技術(shù)成熟度曲線(Gartner Hype Cycle)階段,有許多實(shí)用的實(shí)現(xiàn)可用來(lái)解釋各種問(wèn)題和數(shù)據(jù)的復(fù)雜模型。
對(duì)于 2021 年,我相信我們將看到強(qiáng)大而高效的模型的出現(xiàn),特別是對(duì)于視覺(jué)和自然語(yǔ)言處理方面。在 DistilBERT、Reformer 和 Performer 等高效 Transformer 模型中,我們已經(jīng)看到了進(jìn)展。像 TensorFlow 這樣的深度學(xué)習(xí)框架,通過(guò) TFLite 和 TF.js 專注于移動(dòng)設(shè)備和物聯(lián)網(wǎng)設(shè)備上的機(jī)器學(xué)習(xí),而在邊緣設(shè)備和設(shè)備上的計(jì)算,正是市場(chǎng)所需要的。
我還預(yù)見在深度學(xué)習(xí)領(lǐng)域中,與無(wú)監(jiān)督和自監(jiān)督學(xué)習(xí)相關(guān)的領(lǐng)域?qū)?huì)出現(xiàn)更多的進(jìn)展,像 SimCLR、SimSiam 和 SwAV 這樣的方法論在預(yù)訓(xùn)練模型方面取得了巨大的成功,從而在適應(yīng)階段提供更好的性能。
最后,但并非最不重要的是,低代碼自動(dòng)機(jī)器學(xué)習(xí)平臺(tái)和負(fù)責(zé)任的人工智能也是另外兩個(gè)值得關(guān)注的領(lǐng)域,因?yàn)槲覀兛隙〞?huì)在這方面取得一些有興趣的進(jìn)展。
Rosaria Silipo(@dmr_rosaria):KNIME 首席數(shù)據(jù)科學(xué)家。
在這個(gè)奇怪的 2020 年,由于存在著對(duì)未來(lái)的不確定性因素,人們的注意力已經(jīng)集中到為數(shù)據(jù)科學(xué)解決方案做好準(zhǔn)備并取得成果:安全部署、應(yīng)用監(jiān)控和安全解決方案。到 2021 年,這種趨勢(shì)可能會(huì)持續(xù)下去。
在數(shù)據(jù)科學(xué)項(xiàng)目中,部署仍然是關(guān)鍵階段,在此階段之前的步驟中,所有未被注意到的錯(cuò)誤都將重現(xiàn)。所以,除了傳統(tǒng)的企業(yè)級(jí)功能外,我們也開始覺(jué)得有必要從訓(xùn)練環(huán)境中生產(chǎn)應(yīng)用程序,以避免在遷移過(guò)程中出現(xiàn)不必要的錯(cuò)誤。
2021 年的一些重點(diǎn)還將放在數(shù)據(jù)分析過(guò)程的解釋上,特別是在生命科學(xué)中,通過(guò)機(jī)器學(xué)習(xí)可解釋性(machine learning interpretability,MLI)或可解釋人工智能(eXplainable AI,XAI)技術(shù)來(lái)實(shí)現(xiàn)黑箱模型。
說(shuō)句題外話,我真的懷疑,如果世界上許多國(guó)家持續(xù)存在新冠肺炎疫情而不得不隔離的話,那么關(guān)于機(jī)器學(xué)習(xí)和人工智能方面的書籍?dāng)?shù)量將會(huì)暴增。
RachaelTatman(@rctatman):Rasa 的開發(fā)倡導(dǎo)者,從事自然語(yǔ)言處理方面的工作。
我知道很多人可能會(huì)認(rèn)為 GPT-3 是今年自然語(yǔ)言處理的一大新進(jìn)展,但我認(rèn)為它不過(guò)是現(xiàn)有自然語(yǔ)言處理方法的一個(gè)非常直接的擴(kuò)展,對(duì)絕大多數(shù)自然語(yǔ)言處理應(yīng)用來(lái)說(shuō),它是完全不切實(shí)際的。更讓我感到興奮的是,專注于小型、高效模型的趨勢(shì)越來(lái)越明顯,而且性能依然良好。
第一次 SustainNLP 研討會(huì)(https://sites.google.com/view/sustainlp2020/home)就是一個(gè)很好的例子。我認(rèn)為,從研究的角度來(lái)看,找到用有限的數(shù)據(jù)和計(jì)算資源來(lái)獲得真正優(yōu)秀的模型性能的方法,既是一個(gè)巨大的挑戰(zhàn),但也是真正有意義的一件事。
Daniel Tunkelang:獨(dú)立顧問(wèn),專門從事搜索、發(fā)現(xiàn)和機(jī)器學(xué)習(xí) / 人工智能。
與此同時(shí),2020 年一直被新冠肺炎大流行所主導(dǎo)。盡管人工智能在抗擊病毒方面發(fā)揮了作用,但更有趣的是,由于這場(chǎng)大流行,大多數(shù)從事或研究機(jī)器學(xué)習(xí)的人都是居家工作的。
如果在大流行過(guò)后,遠(yuǎn)程工作和教育的主流接受依然存在(這看起來(lái)是可能的),那么我們就可以預(yù)見到兩種相互競(jìng)爭(zhēng)的趨勢(shì)。一方面,人工智能的專業(yè)知識(shí)將會(huì)真正全球化,而不會(huì)成為一個(gè)特定的中心。另一方面,科技巨頭則會(huì)犧牲較小的地區(qū)公司為代價(jià),在全球范圍內(nèi)招募人才。
但是,隨著遠(yuǎn)程工作推動(dòng)了人工智能的全球化,美國(guó)與中國(guó)之間日益加劇的沖突也導(dǎo)致了人工智能走向分裂??磥?lái),未來(lái)十年我們很有可能會(huì)在人工智能軍備競(jìng)賽中度過(guò)。
又及:11 月 30 日,也就是本篇文章的投稿截止日,DeepMind 的研究人員宣布,他們的 AlphaFold 系統(tǒng)以革命性的精度和速度預(yù)測(cè)蛋白質(zhì)折疊大挑戰(zhàn),并解決了蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)的關(guān)鍵評(píng)估(Critical Assessment of protein Structure Prediction,CASP)大挑戰(zhàn)。要理解這一消息還為時(shí)尚早,但它的確可能會(huì)成為 2020 年人工智能領(lǐng)域最大的突破。
作者介紹:
Matthew Mayo,機(jī)器學(xué)習(xí)研究員、KDnuggets 編輯,KDnuggets 是開創(chuàng)性的在線數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)資源網(wǎng)站。他對(duì)無(wú)監(jiān)督學(xué)習(xí)、深度神經(jīng)網(wǎng)絡(luò)、自然語(yǔ)言處理、算法設(shè)計(jì)和優(yōu)化以及數(shù)據(jù)處理和分析的分布式方法特別感興趣。他擁有計(jì)算機(jī)科學(xué)碩士學(xué)位和數(shù)據(jù)挖掘的研究生文憑。