全球最權威人臉識別測試 被中國團隊奪了第一
2017年07月17日15:21

  中國公司依圖科技獲得目前為止全球公開的、最大規模測試集、最權威測試指標下的最好成績。在最近公佈的國際權威人臉識別供應商測試 FRVT(Face Recognition Vendor Test)結果中,中國公司依圖科技獲得了四項測試的第一名,超過了俄羅斯公司 Vocord (Vocord是國際老牌安防廠商,長久以來超越Google等公司盤踞人臉識別算法第一名)。

  FRVT是由美國國家標準技術局NIST(National Institute of Standards and Technology)組織的人臉識別供應商測試,作為美國國家採購的官方指導,其測試的權威性是全球工業界實際應用的黃金標準。

  FRVT的人臉識別測試集合來自美國國土安全局的真實業務場景,例如出入境、刑偵過程中收集的大量照片。與時下熱門的由學術機構舉辦的LFW、MegaFace測試相比, FRVT更貼近實戰,測試規模更大,不僅擁有百萬量級測試數據,同時這些測試數據均不公開,有效避免算法過擬合甚至是作弊手段。

表一:主流的人臉識別測試場景、測試集、指標比較

表二: 在三個測試集上代錶廠商成績比較。安防廠商海康威視未發佈公開測試成績。

  LFW是由美國馬薩諸塞大學發佈並維護的公開人臉數據集,測試數據規模為萬,國內多個團隊例如百度、騰訊、大華、曠視、商湯都曾獲得了99.5%以上的成績。

  MegaFace是由美國華盛頓大學發佈並維護的公開人臉數據集,測試規模比LFW大100倍,更能區分各個算法的性能差異。第一名是創立於1999年的老牌俄羅斯公司Vocord,獲得91.7%的成績,比第二名騰訊優圖高出8%,優勢明顯。由此可見,雖然國內大互聯網公司擁有超大規模計算算法訓練平台、互聯網級的數據優勢,但離全球頂級的測試結果還有差距。

  在頂級的競爭中,數據和計算的優勢並不能保證輸出最優秀的算法性能。

  由美國國家標準技術局(NIST)主持的FRVT,除了主持機構的權威性外,測試結果的權威性還來自其評測的嚴謹和全面性:

  1、數據均來自真實業務場景,測試結果好則代表該技術可以在實戰場景中直接應用。

  2、數據規模是通過對百億對樣本采樣,達到百萬量級。如此大規模的測試集可以穩定評估算法性能,詳細區分不同算法的優劣。

  3、測試數據不公開(盲測),這保證了測試的公正性。因為參賽的算法團隊無法利用測試數據做模型訓練,可以有效避免過擬合或直接作弊等手段,因此相對於LFW、MegaFace而言,FRVT則更能體現測試的公正性。

  4、科學專業性,FRVT對不同實戰場景、人種、年齡、性別,做了詳細分解下的識別性能比較,並在模型速度、特徵庫大小、比對閾值等做了詳細評估。

  據官方最新發佈的報告,FRVT 的第一名是中國公司依圖科技,在千萬分之一誤報下(采樣百億對樣本)的準確率為 95.5%,比第二名俄羅斯公司Vocord 93.5%的準確率高出 2%。這是目前為止全球公開的、最大規模測試集、最權威測試指標下的最好成績,比2014年參與同樣測試的第一名日本公司NEC在準確率上有大幅提高。

  NIST針對測試作了不同場景、不同人種、不同性別、不同年齡的識別性能比較。從 FRVT 的官方描述來看,其提供的測試數據對應了出入境管理、身份門禁認證、平安城市監控等實戰應用場景,依圖在四項主要的測試場景中均獲得第一名。

  在更詳細的人種(黑人、白人、亞洲人等)、性別比較中,依圖的算法表現幾乎沒有差異;而其他算法隨著識別難度增加,識別率出現了不同程度的較大降低。對比結果說明依圖的算法可以在不同類型數據分佈的實用場景中,例如黑人較多的場景下,算法也可有穩定表現。

  具體報告來源於Ongoing FRVT 2017.6.19 報告 (鏈接地址:https://www.nist.gov/sites/default/files/documents/2017/06/20/frvt_report_2017_06_19.pdf)

  智能萬倍增長

  過去四年,從LFW到FRVT,測試指標已經從千分之一誤報到千萬分之一誤報,識別性能已經提高一萬倍,意味著誤報降低萬倍。可以預見,很快就會出現測試指標在億分之一、十億分之一、百億分之一誤報下的識別性能比較,這將是另一個千倍的智能識別能力的增長。

  可以想像,在十億級超大規模比對、十億分之一超低誤報下的高識別性能,意味著智能技術將解鎖更多的應用場景,從樓宇建築到城市量級,甚至多城聯動,再到全國範圍內的人臉比對、安防布控都將成為可能。

  依圖科技CEO朱瓏說到:“NIST是工業界最權威的測試,有最直接的應用指導價值。從測試的結果來說,有兩個意義: 我們可以平靜的接受,來自中國的算法技術超過全球的競爭對手;更大的意義在於,掌握標準製定話語權和實際全球影響力的美國國家標準技術局,已經顯得‘沒見過世面’,千萬分之一的誤報下的識別率並不能拉開我們和第二名的差距,我們的算法已經在 10 億分之一的誤報下達到超過90%的識別率。希望將來,國際主流學術機構能接受,只有中國參與的標準測試,才反映全球最前沿的技術理解。”

關注我們Facebook專頁
    相關新聞
      更多瀏覽