來源：映維網(wǎng) 作者 廣州客
包括計(jì)算攝影（如人像模式）和增強(qiáng)現(xiàn)實(shí)效果（如虛擬化身）在內(nèi)的大量應(yīng)用都依賴于通過虹膜追蹤來估計(jì)眼睛位置。一旦獲得精確的虹膜追蹤數(shù)據(jù)，我們無需專用的深度傳感器就可以確定從攝像頭到用戶的距離。反過來說，虹膜追蹤可以改善從計(jì)算攝影到虛擬眼鏡或帽子穿戴等一系列的用例。
由于有限的計(jì)算資源，可變的光照條件，以及遮擋物的存在（如頭發(fā)或因瞇眼造成的眼臉），移動設(shè)備實(shí)現(xiàn)虹膜追蹤是一項(xiàng)艱巨的任務(wù)。一般而言，這項(xiàng)技術(shù)會采用復(fù)雜的專用硬件，而這限制了相關(guān)解決方案的支持設(shè)備范圍。
FaceMesh可用于驅(qū)動虛擬化身（中間）。通過額外利用虹膜追蹤，我們可以大大提升虛擬化身的生動感
由MediaPipe Iris實(shí)現(xiàn)的眼睛重新著色示例
谷歌日前發(fā)布了用于精確虹膜估計(jì)的全新機(jī)器學(xué)習(xí)模型：MediaPipe Iris。所述模型以MediaPipe Face Mesh的研究作為基礎(chǔ)，而它無需專用硬件就能夠通過單個RGB攝像頭實(shí)時追蹤涉及虹膜，瞳孔和眼睛輪廓的界標(biāo)。利用虹膜界標(biāo)，模型同時能夠在不使用深度傳感器的情況下以相對誤差小于10％的精度確定對象和攝像頭之間的度量距離。請注意，虹膜追蹤不會推斷人們正在注視的位置，同時不能提供任何形式的身份識別。MediaPipe是一個旨在幫助研究人員和開發(fā)者構(gòu)建世界級機(jī)器學(xué)習(xí)解決方案與應(yīng)用程序的開源跨平臺框架，所以在MediaPipe中實(shí)現(xiàn)的這一系統(tǒng)能夠支持大多數(shù)現(xiàn)代智能手機(jī)，PC，筆記本電腦，甚至是Web。
用于遠(yuǎn)視用戶的可用性原型：無論距離如何，字體大小都能夠保持恒定
1. 用于虹膜追蹤的機(jī)器學(xué)習(xí)管道
谷歌介紹道，開發(fā)系統(tǒng)的第一步利用了之前針對3D Face Meshes的研究，亦即通過高保真面部界標(biāo)來生成近似面部幾何形狀的網(wǎng)格。根據(jù)所述網(wǎng)格，研究人員分離出原始圖像中的眼睛區(qū)域以用于虹膜追蹤模型。然后，谷歌將問題分為兩個部分：眼睛輪廓估計(jì)和虹膜位置。他們設(shè)計(jì)了一個由一元化編碼器組成的多任務(wù)模型，每個組件對應(yīng)一個任務(wù)，這樣就能夠使用特定于任務(wù)的訓(xùn)練數(shù)據(jù)。
虹膜（藍(lán)色）和眼臉（紅色）追蹤示例
為了將裁剪后的眼睛區(qū)域用于模型訓(xùn)練，團(tuán)隊(duì)手動注釋了大約50萬張圖像。其中，圖像涵蓋了不同地理位置的各種照明條件和頭部姿勢，如下所示。
用眼臉（紅色）和虹膜（藍(lán)色）注釋眼睛區(qū)域
裁剪的眼睛區(qū)域形成模型的輸入，而它將通過單獨(dú)的組件預(yù)測界標(biāo)
2. 虹膜深度：用單個圖像進(jìn)行深度估計(jì)
無需任何專門的硬件，這個虹膜追蹤模型能夠以不到10％的誤差確定對象到攝像頭的度量距離。相關(guān)的原理事實(shí)是，人眼的水平直徑虹膜基本恒定為11.7±0.5毫米。作為說明，請想象將針孔攝像頭模型投影到正方形像素的傳感器。你可以使用攝像頭的焦距估計(jì)從面部界標(biāo)到對象的距離，而這可以通過Camera Capture API或直接從捕獲圖像的EXIF元數(shù)據(jù)，以及其他攝像頭固有參數(shù)進(jìn)行獲取。給定焦距，對象到攝像頭的距離與對象眼睛的物理尺寸成正比，如下圖所示。
利用類似的三角形，我們可以根據(jù)焦距（f）和虹膜大小來計(jì)算對象的距離（d）
左邊：在Pixel 2運(yùn)行的MediaPipe Iris正在以cm為單位估計(jì)度量距離，沒有采用任何深度攝像頭；右邊：groud-truth深度
為了量化所述方法的精確性，研究人員收集了200多位被試的正向同步視頻和深度圖像，并將其與iPhone 11的深度傳感器進(jìn)行比較。團(tuán)隊(duì)使用激光測距設(shè)備，通過實(shí)驗(yàn)確定iPhone 11的深度傳感器在2米以內(nèi)的誤差小于2％。對于使用虹膜大小進(jìn)行深度估算的方法，平均相對誤差為4.3％，標(biāo)準(zhǔn)偏差是2.4％。谷歌對有眼鏡被試和正常視力被試（不計(jì)入隱形眼鏡情況）測試了所述方法，并發(fā)現(xiàn)眼鏡會將平均相對誤差略微提高到4.8％（標(biāo)準(zhǔn)偏差是3.1％）。另外，實(shí)驗(yàn)沒有測試存在任何眼睛疾病的被試?？紤]到MediaPipe Iris不需要專門的硬件，所述結(jié)果表明系統(tǒng)能夠支持一系列成本范圍的設(shè)備根據(jù)單張圖像獲取度量深度。
估計(jì)誤差的直方圖（左邊），以及實(shí)際和估計(jì)距離的比較（右邊）
3. 發(fā)布MediaPipe Iris
這個虹膜和深度估計(jì)模型將作為支持PC，移動設(shè)備和Web的跨平臺MediaPipe管道發(fā)布。正如谷歌在最近一篇關(guān)于MediaPipe的博文所述，團(tuán)隊(duì)利用WebAssembly和XNNPACK在瀏覽器中本地運(yùn)行Iris ML管道，無需將任何數(shù)據(jù)發(fā)送到云端。
使用MediaPipe的WASM堆棧。你可以在瀏覽器種運(yùn)行模型
僅使用包含EXIF數(shù)據(jù)的單張圖片計(jì)算虹膜深度
請點(diǎn)擊這里以嘗試虹膜追蹤，請點(diǎn)擊這里以嘗試虹膜深度。
4. 未來方向
谷歌計(jì)劃進(jìn)一步擴(kuò)展MediaPipe Iris模型，實(shí)現(xiàn)更穩(wěn)定的追蹤性能以降低誤差，并將其部署用于無障礙用例。谷歌在相關(guān)文檔和隨附的Model Card中詳細(xì)說明了預(yù)期的用途，限制和模型的公平性，從而確保模型的使用符合谷歌的AI原則。請注意，任何形式的監(jiān)視監(jiān)控都明顯超出應(yīng)用范圍，故不予支持。團(tuán)隊(duì)表示：“我們希望的是，通過向廣泛的研究與開發(fā)社區(qū)提供這種虹膜感知功能，從而促使創(chuàng)造性用例的出現(xiàn)，激發(fā)負(fù)責(zé)任的新應(yīng)用和新研究途徑。”
原文鏈接：https://yivian.com/news/76906.html
