陳熙霖中國科學院計算技術研究所研究員

上周，“微軟亞洲研究院創(chuàng)研論壇——CVPR 2017論文分享會”在微軟大廈舉行。來自國內(nèi)外計算機視覺領域?qū)W術界、工業(yè)界的優(yōu)秀代表們攜各自在CVPR 2017發(fā)表的最新研究和技術觀點進行了分享，交流。而在此次活動上由微軟亞洲研究院主管研究員羅翀主持的圓桌討論環(huán)節(jié)中，五位計算機視覺領域的資深專家就目前計算機視覺領域研究中的熱門問題給出了各自的見解。他們分別是：

●陳熙霖，中國科學院計算技術研究所研究員

●王蘊紅，北京航空航天大學計算機學院副院長

●曾文軍，微軟亞洲研究院首席研究員

●林宙辰，北京大學信息科學技術學院教授

●齊國君，美國中佛羅里達大學計算機系助理教授

問題一：近兩年深度學習十分火熱，對于計算機視覺領域的沖擊也很大，很多經(jīng)典問題借助深度學習的方法都有了很大的提升。大家覺得深度學習的出現(xiàn)是否會對學生掌握計算機視覺的經(jīng)典知識帶來影響？

陳熙霖：如果用深度學習簡單地應對當前問題，或者是數(shù)據(jù)，也許是一個辦法。但計算機視覺其實是一個很寬泛的領域，很多問題是風馬牛不相及的，有些問題用深度學習確實很有效，但有些問題卻不一定會得到結(jié)論。比如，按現(xiàn)在經(jīng)常用的識別率來度量，可能效果不錯，但事實上，運用深度學習時，

如果不能很好的考慮問題的背景，很可能永遠都達不到最終的目的。

另外從教育來講，我們要讓學生掌握更多的知識，不能單純的用一個工具來代替一個領域。比如計算機視覺里面，現(xiàn)在可能很多人都不太關注幾何、光學等知識，但其實很多重要的論文，仍然在做這方面的工作。因此，教育不可以偏廢。在過去這么多年當中，我們看到一波又一波的浪潮，一個又一個的新工具，如果作為練習這沒有錯，但作為一個長期的研究者來講，我覺得還需要思考。

王蘊紅：作為研究者，我們應該具備很多素質(zhì)。首先就是，研究問題的本質(zhì)是什么。比如計算機視覺到現(xiàn)在依然有很多問題還沒有克服。我們不能否認深度學習是一個好工具，在以識執(zhí)行自己目標的能力別率為度量標準的前提下，它取得了一些成功，但有很多問題依然沒有得到解決。

還有一點，用簡單工具來解決問題時，我們可能需要能夠熟練使用軟件的技術人員。而研究人員在解決問題時，不應該把自己當成一個調(diào)參的工具，整個博士生涯中我們學到的是發(fā)現(xiàn)問題和解決問題的能力。在這個時候我們依然要關注到問題的本身是什么，怎么樣才能夠解決問題。所以任何一個工具都不是經(jīng)久不衰的，但解決問題是經(jīng)久不衰的，所以我們應該更多關注的是能力的培養(yǎng)。

林宙辰：前幾年大家都非常關注深度學習，但近兩年我又看到了一個趨勢，那就是深度學習和傳統(tǒng)方法的結(jié)合。這個結(jié)合有兩個方面，一個是在小數(shù)據(jù)方面，深度學習并不具有非常強的優(yōu)勢，但由于不是所有場合都有大量的數(shù)據(jù)，所以在很多問題上，我們還是要掌握傳統(tǒng)方法。

其次作為研究者來說，如果大家都會深度學習，那么你要怎么超過別人？當大家都處在一個起跑線的時候，你的專業(yè)知識（Domain Knowledge）就會起作用。所以我不太擔心深度學習會完全替代掉傳統(tǒng)方法，而將會以另外一種方式，比如，做更大的系統(tǒng)可以集成更多的東西。因為計算能力的增強，問題復雜性的增高，簡單的模型可能就做得不夠好，所以系統(tǒng)越來越復雜是未來必然的趨勢。

總結(jié)：雖然現(xiàn)在深度學習非常好用，但我們也不能為結(jié)果論，不能丟棄傳統(tǒng)的知識，最終可能還是需要領域內(nèi)的知識和深度學習一起去發(fā)揮最大的作用。

問題二：關于arXiv各位有什么樣的觀點，它到底對于領域的發(fā)展是好事還是壞事？

曾文軍：arXiv開始變得流行是因為它有一個平臺，可以讓大家更快、更好地去交流一些想法，所以從推進學術界發(fā)展的角度來說，它的確起到了相應的作用。最近的一些爭議主要是圍繞著它沒有正規(guī)的流程導致論文質(zhì)量可會受到影響這方面在討論。但其實arXiv更像是一個公眾發(fā)起的平臺，所以這種現(xiàn)象我覺得也是可以理解的。

齊國君：arXiv作為一種新的發(fā)表形式，和傳統(tǒng)形式相比，我覺得它是可運行的。我們可以把傳統(tǒng)的發(fā)表方式理解成傳統(tǒng)的掌握話語權的媒體，它們有一個自上而下的評審機制。而arXiv更像是社交媒體，它把話語權給到了每一個研究者，每個研究者在這個平臺上都可以自由發(fā)言。它的好處是作為“社交媒體”，大家可以很平等的去交流，意見只要好，就絕不會被淹沒。

但另一方面，也因為沒有一個評審機制，有的發(fā)言不是那么正確，這時候?qū)τ诓煌瑢哟蔚难芯空叩挠绊懢蜁灰粯印１热缫粋€新入行的學生，他可能就分不清楚哪些研究方法或者研究思路是正確的，會比較容易受到干擾。因此，arXiv的出現(xiàn)，既有好處，也有壞處。

林宙辰：arXiv在學術交流方面絕對有正面的作用，但關鍵在于我們?nèi)绾蝸硎褂盟Ｈ绻撐脑跊]有正式被接收之前就去公開宣稱你擁有某個新的理論或方法，那么這就不是一個非常正確的做法，大家不要隨便去占坑。

總結(jié)：大牛們對arXiv的總體評價還是比較正面的，但是需要引起大家注意的就是在arXiv上發(fā)表成果時，不要把它作為占坑的工具，更多的是要把它作為學術交流的工具。而作為去看arXiv的讀者，大家也需要提高自己的甄別能力，防止被誤導。

問題三：現(xiàn)在大量的實驗和實踐應用中，深度學習都表現(xiàn)出了非常強的學習能力。但是它也有受限的的地方，比如需要大量的訓練樣本。而AlphaGo的成功在于，它不但之前學了很多棋譜，還用了強化學習。

強化學習在圍棋和游戲當中可以設計很好的強化學習獎勵函數(shù)。那么在視覺領域，我們應該怎么來設計一個真正可行的獎勵函數(shù)，來解決物體的檢測、分割、視頻捕捉等等工作？

陳熙霖：當我們想拿計算機視覺解決問題時，我們只解決了Where和What，而解決不了How和Why。但當我們要做類似Visual QA的時候就要解決這些問題。所以剛才講視覺可不可以自己做一個反饋，做一個循環(huán)（loop）？我個人認為大多數(shù)問題是不可以的。

如果要想拿視覺做一個類似于AlphaGo的評價函數(shù)，那么它不是單獨視覺能解決的，而是需要把視覺能力的評估（Assessment）融入到一個智能系統(tǒng)中，然后由這個系統(tǒng)給出獎勵或懲罰，甚至于給一個群體之間的反饋。這樣的評價函數(shù)是可以做的，但它不是單獨來自于計算機視覺的。

齊國君：視覺絕對不是一個單一的系統(tǒng)，AlphaGo的增強學習是根據(jù)已有的訓練樣本，進行建模，挖掘價值信息，并且它可以以當前學習的狀態(tài)去生成一些新的數(shù)據(jù)，通過評價函數(shù)學習新的信息。但視覺中沒有單獨的訓練數(shù)據(jù)，沒有辦法探索新的信息。所以就無法用類似于增強學習的方法去做。

但現(xiàn)在有一種思路，就是邊學習邊生成一些樣本，比如借助于GAN等或者游戲的方法。我們可以在游戲世界中操縱人，通過探索游戲里新的視覺信息、視覺信號，來學習新的信息，從而形成閉環(huán)。

曾文軍：大家可能知道，微軟亞洲研究院機器學習組去年有一個工作，叫對偶學習，它的想法也是想形成一個閉環(huán)。以翻譯為例，假設我們有一個英文的句子X，通過翻譯模型F的作用，得到一個中文句子Y。那么Y作為一個中文句子是不是符合語法，是不是順暢，X到Y(jié)之間的關系是否和英漢詞典一致等等，都可以作為反饋信息。

同樣，當我們用模型G把Y再變成英文句子X以后，也可以去衡量X，并作為反饋信息。利用這些反饋信息，我們可以使用包括Policy Gradient在內(nèi)的方法，來一輪一輪地更新模型，直到最終得到兩個滿意的模型，這個過程就形成了閉環(huán)。

王蘊紅：不是所有的問題都可以做成有監(jiān)督的，也不是所有的有監(jiān)督系統(tǒng)就一定能夠有幫助。深度學習是有邊界的，視覺也是有邊界的，這也為我們探索的空間提供了很多其他的道路。

問題四：華人在CVPR 2017中的表現(xiàn)非常卓越。所以請問各位教授，這個現(xiàn)象能夠給我們帶來什么啟發(fā)，或者是警示？

王蘊紅：被頂級學術會議接受論文對于年輕的研究者來說是非常好的肯定，但大家不要把它看得過重，因為被接受并不能代表你的研究工作是完全獨一無二，可以影響整個領域、甚至技術發(fā)展的。我們應當關注我們做了什么有價值的工作。

曾文軍：其實真正好的工作最終是看有什么影響。微軟也一樣，我們現(xiàn)在在評估的時候看的都是影響，而不是有多少篇論文。

林宙辰：我覺得更重要的是要在學術界有一個引導的作用。現(xiàn)在國內(nèi)的研究者都是在發(fā)論文，但是在制定領域的規(guī)則方面，還沒有起到非常大的作用。所以我覺得大家還是要多參與交流，多發(fā)聲，比如規(guī)則有什么不合理的地方，怎么改進會更加合理，怎么讓研究更加有效、有生命力，甚至參與組織改變的過程。

齊國君：如果你在組織中有更大的話語權，那么就可以更有效地推廣你的研究工作。比如ImageNet就是通過使用組織的力量把它推廣開來的。所以我們需要做的是參與這些組織的活動，積極地在這個組織中為大家發(fā)聲。

另外，的確現(xiàn)在華人發(fā)表的論文越來越多，但還是缺乏有顛覆性的研究工作。因為顛覆性的研究會比我們的論文在一個學術大會上的占有率重要的多。

問題五：剛才各位的分享，都關注了我們作為計算機社群的一分子，怎么能夠讓這個社群往更加健康的方向發(fā)展。但現(xiàn)在大家也有這樣一個憂慮就是，現(xiàn)在深度學習、機器學習在解決計算機視覺的時候顯得非常有效，是不是長此以往計算機視覺就會成為機器學習的一個應用，我們這個社群到底應該怎么樣獨立的、有尊嚴的向前發(fā)展？

陳熙霖：過去，因為沒有辦法做真正的視覺，我們把它分成了若干個碎片（細分），然后說這是計算機視覺。今天，在每一個碎片上，似乎深度學習取得了成功，但當我們把這些碎片拼回去時，試問深度學習是不是還能實際解決問題？我的觀點是，可能就不能了。所以這恰恰給了我們一個機會，去真正研究計算機視覺，而不再是在打破的碎片上研究計算機視覺了。

王蘊紅：計算機視覺的傳統(tǒng)問題依然存在，機器學習只解決了一部分，但是有很多問題依然沒有解決。在過去每一段時間，計算機視覺都有一個發(fā)展，而每一段發(fā)展都有它非常有利的一面，但是到現(xiàn)在，我們需要探索的問題還有很多。機器學習所能夠做的，也是一個范圍之內(nèi)的事情。

曾文軍：剛才也說了，現(xiàn)在深度學習做的好的，都是比較細碎的東西。但我要的幸福真正往下做更高層次的東西，包括實際應用上的，可能更多的是視頻數(shù)據(jù)。我們感興趣的不僅僅是人，而是要知道這個人的行為，他的動作，發(fā)生了什么事情，以及一些交互，從時序上其實是有很長延續(xù)性的東西。而這些東西現(xiàn)在深度學習還沒有做得很好，我們看到的也是比較局部的，一旦需要用到邏輯方面的東西，深度學習現(xiàn)在很難結(jié)合進來。

所以僅靠現(xiàn)有的深度學習，很多東西是解釋不了的。如果是更復雜的系統(tǒng)，用黑盒去解決它還是有很大難度的。因此，傳統(tǒng)的自上而下方法加上知識圖譜，再加上一些邏輯上的內(nèi)容，這些都滿足了，可能才能真正解決實際的問題。

林宙辰：機器學習一般都不關心特征是怎么來的，但是計算機視覺里面剛好有這么一個部分是關于Feature是怎么獲得的。很多這方面的問題并不是機器學習能夠解決的，而且深度學習并不是唯一的機器學習方法，在此之前，很多方法都在計算機視覺里有應用。

而且有很多地方，計算機視覺會有它的獨特之處。像立體視覺就需要基于一定的物理模型，所以我們不是簡單地做一些端到端的東西就可以了。這兩個領域的融合是“自古以來”就有的，并不是新產(chǎn)生的現(xiàn)象。

齊國君：其實機器學習和計算機視覺這兩個領域應該是相互依存的關系，而不是競爭的關系。機器學習在很多領域都有應用，但我覺得其中最成功、最有影響力的應用還是在計算機視覺，包括一系列的方法，比如深度學習中的卷積神經(jīng)絡，這是一個純粹的視覺問題，后來才引申出一系列新的應用領域。

如果沒有計算機視覺中的具體問題，機器學習作為一個純粹的研究，可能就退化成統(tǒng)計問題了。但正因為有實際問題，提出了一些困難和需求，才促進了機器學習的研究。所以我覺得機器學習和計算機視覺還是彼此相互依存、相互促進的關系，而不是對立的競爭關系。