該攝像頭被用于首款采用單鏡頭、寬視場(chǎng)（也有譯為“廣視域”，wide field of view）的光場(chǎng)攝像機(jī)中，可產(chǎn)生信息豐富的影像及視頻幀，進(jìn)而使機(jī)器人能更好地執(zhí)行全球?qū)Ш讲⒘私馕锞啵╫bject distance）及表面紋理（surface texture）等特定環(huán)境信息。據(jù)研究人員預(yù)計(jì)，未來該項(xiàng)技術(shù)將被應(yīng)用于自動(dòng)駕駛車輛中并強(qiáng)化其性能。此外，該項(xiàng)技術(shù)還將被用于虛擬現(xiàn)實(shí)（VR）技術(shù)。研究人員在今年7月舉辦的2017計(jì)算機(jī)視覺與模式識(shí)別會(huì)議（CVPR 2017）上展示了該項(xiàng)新技術(shù)。

 

　　據(jù)斯坦福大學(xué)電氣工程學(xué)教授Gordon Wetzstein透露：“對(duì)計(jì)算機(jī)視覺應(yīng)用的拓展而言，光場(chǎng)捕獲及處理能力發(fā)揮著重要的作用，可提供豐富的紋理、深度信息（depth information），簡(jiǎn)化任務(wù)的復(fù)雜程度。盡管光場(chǎng)攝像頭已實(shí)現(xiàn)商業(yè)化應(yīng)用，但當(dāng)前的設(shè)備尚無法提供寬視場(chǎng)影像，這是由于其在一定程度上受限于魚眼透鏡（fisheye lenses），從根本上講，后者的入瞳直徑（entrance pupil diameter）受限，進(jìn)而嚴(yán)重制約了深度靈敏度（depth sensitivity）。”

 

　　他還表示：“在這項(xiàng)研究中，我們談到了一款全新緊湊型光學(xué)設(shè)計(jì)，將單中心透鏡與多個(gè)采用了微透鏡陣列的傳感器相連接，將光場(chǎng)攝像頭的視場(chǎng)捕獲能力提升到空前水平。得益于優(yōu)異的光場(chǎng)表現(xiàn)能力，研究團(tuán)隊(duì)提出了一套全新的方法，高效地實(shí)現(xiàn)了球面透鏡（spherical lens）與平面?zhèn)鞲衅鳎╬lanar sensors）的連接，取代了價(jià)格高昂、體積龐大的纖維束（fiber bundles）。”

 

　　該團(tuán)隊(duì)制作了一部單傳感器光場(chǎng)攝像機(jī)樣機(jī)，旋轉(zhuǎn)與固定式主透鏡相對(duì)的傳感器，進(jìn)而模擬寬視場(chǎng)的多傳感器情境。最終，該團(tuán)隊(duì)還談到了一套處理工具鏈（processing toolchain），其中包括：一款實(shí)用的球面光場(chǎng)參數(shù)設(shè)定。此外，該團(tuán)隊(duì)還論證了關(guān)于室內(nèi)及室外全景（indoor and outdoor panoramas with）的深度估算（depth estimation）及捕獲后重新聚焦（post-capture refocus），其4D影像的像素值為15 × 15 × 1600 × 200（72 MPix），視場(chǎng)為138°。

 

 

　　Gordon Wetzstein教授與加州大學(xué)圣地亞哥分校的電氣工程學(xué)教授Joseph Ford開展合作，共同推動(dòng)該研究項(xiàng)目。加州大學(xué)圣地亞哥分校的研究人員設(shè)計(jì)了一款球面鏡，可為該攝像頭提供極寬的視場(chǎng)，其視場(chǎng)涵蓋了攝像頭周邊近三分之一的區(qū)域。

 

　　Ford教授所帶領(lǐng)的團(tuán)隊(duì)早前參與了美國(guó)國(guó)防部高級(jí)研究計(jì)劃局（DARPA）的“SCENICC”計(jì)劃并研發(fā)了一款球面鏡，旨在打造一款緊湊型視頻攝像頭，該產(chǎn)品可捕獲360度高清全景影像，各視頻幀數(shù)可達(dá)1.25億像素量（125 megapixels）。在該項(xiàng)目中，光導(dǎo)纖維束（fiber optic bundles）所用視頻攝像頭將球面影像與傳統(tǒng)的平面影像焦點(diǎn)平面（flat focal planes）相結(jié)合，進(jìn)而提升其畫面性能，但其成本較高。
 

　　Dansereau教授

 

　　新款攝像頭采用了一種球面透鏡，可借助小晶體及數(shù)字信號(hào)處理來消除纖維束。Ford教授實(shí)驗(yàn)室的光學(xué)設(shè)計(jì)與系統(tǒng)集成硬件技術(shù)與Wetzstein實(shí)驗(yàn)室的信號(hào)處理及算法技術(shù)的結(jié)合產(chǎn)生了一套數(shù)字化方案，在產(chǎn)生極寬的影像的同時(shí)提升其圖片分辨率。

 

　　該款攝像頭還依賴于斯坦福大學(xué)研發(fā)的光場(chǎng)攝影（light field photography）技術(shù)，可提供4D影像。該款攝像頭可捕獲射向透鏡的雙軸線方向的光線，并將該光照信息與2D影像相結(jié)合。光場(chǎng)攝影的另一項(xiàng)特點(diǎn)是在捕獲影像后可對(duì)影像重新聚焦，因?yàn)樵撚跋癜ü庠次恢眉肮庠捶较颍╨ight position and direction）。

 

　　機(jī)器人或?qū)⒉捎迷擁?xiàng)技術(shù)，使其視野不受雨水及其他遮擋物的影響。

 

　　該款攝像頭像常規(guī)攝像頭一樣，能夠遠(yuǎn)距離運(yùn)行，其設(shè)計(jì)旨在提升特寫影像（close-up images）的品質(zhì)。作為虛擬現(xiàn)實(shí)系統(tǒng)的一部分，其深度信息或?qū)⑸筛嗟默F(xiàn)實(shí)場(chǎng)景的無縫效果圖，以便更好地為實(shí)現(xiàn)這類場(chǎng)景與虛擬部件的一體化提供支持。

 

　　目前，該款攝像頭處于概念驗(yàn)證階段，該團(tuán)隊(duì)計(jì)劃了制作一款緊湊型樣機(jī)，用于在機(jī)器人上進(jìn)行測(cè)試。該研究由美國(guó)國(guó)家科學(xué)基金會(huì)（NSF）/英特爾視覺及體驗(yàn)運(yùn)算伙伴項(xiàng)目（Intel Partnership on Visual and Experiential Computing）提供資金。