在《雙攝像頭來勢洶洶核心芯片ISP扮演怎樣的角色？》中我們已經(jīng)講述了ISP在雙攝像頭中的重要性，簡而言之，雙攝像頭需要ISP于CIS兩者結合在一起運行。那么，在采用了雙攝像頭的智能手機中，ISP究竟是如何與CIS結合一起運作的呢？周宇向記者解釋道：“如果說以攝像頭為基礎的成像系統(tǒng)是人類的視覺系統(tǒng)的話，那么鏡頭是人眼中的晶狀體和玻璃體，它負責光學系統(tǒng)的變焦和光學能量的收集；CIS就是人眼的視網(wǎng)膜，它負責將收集到的光能轉化成可以處理的電信號（視網(wǎng)膜是生物電信號，CIS是模擬電信號）；而ISP則相當于是人類視覺系統(tǒng)的視神經(jīng)和負責視覺處理的大腦皮層。它負責將CIS采集到的信號進行分析和處理，將看似雜亂的、專業(yè)的圖像‘信號’處理成豐富的、大家都能看得懂的圖片‘信息’。”
他還指出，由于CIS出來的圖像信號具有很強的專業(yè)性，那么作為ISP，想要將這個圖像信號給處理好、輔佐好，就需要ISP對圖像、CIS甚至光電系統(tǒng)有深厚的理解。并且，隨著現(xiàn)代攝像頭逐步的智能化，ISP這個“大腦皮層”越進化越強大，都開始“搶大腦的活”了，比如我們的ISP就在學習空間想象、三維建模，從平面幾何做到了立體幾何。（雙攝測距，三維建模）。
對此問題，路標表示，ISP與sensor之間的調試配合工作的確是密不可分的。同時，除了Sensor，整個攝像頭模組的配置，如鏡頭，步進馬達等，也會影響到最終的畫質。目前，索喜科技與目前所有市面上的主流Sensor廠家和攝像頭模組廠家都建立了良好的合作關系，不僅僅是單一產(chǎn)品的匹配，更多的是配合的模式和聯(lián)絡渠道的方式。針對雙攝的方案，索喜一樣與各個市場上主要的攝像頭模組廠都已經(jīng)配合并完成一系列雙攝的方案。
從上文中我們已經(jīng)得知雙路ISP在雙攝像頭中的重要性以及其如何與CIS結合一起進行工作。據(jù)筆者了解到，目前ISP應用到智能手機攝像頭方面，主要有兩種方式，一種是如高通、MTK、華為海思一樣將ISP集成到自家的手機處理器中，而另一種方式，則是采用獨立的ISP芯片。那么，對于這兩種方式而言，究竟哪種方式更可取呢？
對于這個問題，從受訪的四家企業(yè)來看，主要可以分為兩大陣營，一方是以高通、MTK為主將ISP集成到手機處理器的平臺商，他們認為將ISP集成到處理器中更具優(yōu)勢；另一大陣營則是以興芯微為主的ISP供應商，周宇認為獨立的ISP將更具優(yōu)勢。路標則表示，獨立ISP與集成ISP比起來，最重要的區(qū)別還是對畫質的處理。
王宇飛表示：“在我們整個處理器產(chǎn)品組合中，ISP是集成進驍龍?zhí)幚砥鞯?。這是我們從一開始就成功的秘訣，而對于未來產(chǎn)品路線圖中的處理器，我們也將繼續(xù)這樣做。緊密集成到處理器中的ISP具有許多優(yōu)勢，而其中最重要的是功率效率和電池續(xù)航時間。例如，驍龍820利用DSP/HVX（驍龍?zhí)幚砥髦械牧硪豁楆P鍵技術）來進行預處理，從而能夠將成像預處理和后處理工作從CPU卸載到DSP，實現(xiàn)更佳的電池續(xù)航。我們集成的ISP還可以直接與視頻和顯示子系統(tǒng)連接，在視頻拍攝功耗方面實現(xiàn)最高達25%的改進。具有專用降噪和串色校正硬件，當然尖端且高效的ISP還能讓驍龍?zhí)幚砥髦С诸I先的分辨率（高達2300萬像素）和所有尺寸的圖像傳感器。”
此外，他還介紹，得益于高度的集成，Qualcomm已在計算機視覺/認知技術領域取得重大進步，并借此使成像與驍龍?zhí)幚砥鞯纳疃葘W習功能相搭配。“觸摸跟蹤（Touch-to-track）”和“文本激活”等特性是提升拍攝體驗的算法，能讓攝像頭更智能，識別多個移動中的物體，或者認出圖片中的URL和電話號碼的差別，并采取適當行動。這均是通過利用驍龍?zhí)幚砥髦械亩喾N技術（CPU、傳感器和ISP）來實現(xiàn)的。通過理解認知技術算法，并將計算負荷協(xié)調到最適合的專用引擎，就有可能實現(xiàn)最高效的處理。Qualcomm正通過異構計算和高效的SoC架構，解決在移動終端上支持認知技術的挑戰(zhàn)。
MTK也表示：“集成ISP的方式比較好, 因為對客戶來講，不僅BOM成本得到降低，而且能采用異構計算的方式分配運算資源，把很大運算量會分給GPU來做，給用戶帶來更佳的功耗和畫面體驗。”此外，如高通、MTK、華為海思都是集成自家的ISP，據(jù)MTK稱，由于其他企業(yè)的ISP會授權給很多廠商采用，所以接口不是最優(yōu)的，而平臺商采用自家的ISP，接口則會更優(yōu)，而且運算會更有效率。
周宇則稱：“對于后端平臺（手機處理器）廠商而言，將ISP集成到手機處理器中就是將ISP的部分或全部功能與模塊集成入自家的處理器芯片中。相比于獨立的ISP，兩者的設計約束差異與實現(xiàn)方式不同必然的導致了其在性能上各具風格。”
他從多方面分析了兩種方式的優(yōu)劣勢，首先是將ISP集成到處理器中，作為集成ISP，由于是后端平臺廠商整體規(guī)劃并集成，其與手機處理器交互的便捷性、計算資源共享、功耗、體積以及研發(fā)成本上都會具有獨立ISP無可匹敵的優(yōu)勢。
不過，他也指出了將ISP集成到處理器中的不足之處，他表示：“相對于獨立ISP的劣勢也非常明顯，主要表現(xiàn)在這么幾點上：1、一名好的IC工程師未必能當好一名攝影師：做好一款好的ISP需要的是在圖像和成像領域深厚的積累和理解，一個優(yōu)秀的手機處理器廠商未必是一個好的圖像“理解者”和“設計者”，尤其在圖像還是一件需要極度專注才能做好的背景下；2、單一手機處理器平臺應對各家傳感器，其寬容度是一個極大的考驗。在這個消費電子去同質化的市場需求下，各家設計需求不盡相同，如何利用同一款集成ISP匹配各家的傳感器并做出差異化的方案將是一個很大的挑戰(zhàn)；3、一個模塊和一塊芯片的圍城。集成ISP引以為傲的功耗和體積優(yōu)勢在作為一個模塊時，必然的會帶來運算能力的限制，如果處理不好就會限制和影響到最終的成像效果。”
不難看出，周宇更看好獨立ISP的處理性能，當然，他也指出一個例外，那就是蘋果，蘋果在其處理器中同樣集成了自家的ISP，據(jù)周宇稱，蘋果是為數(shù)不多的能自己設計手機處理器并且在圖像領域有著深厚理解的公司，它能夠很好的結合上述兩者的優(yōu)點將集成的ISP做出獨立ISP甚至更佳的效果。
其實，將ISP集成到手機處理器中還將面臨著不小的挑戰(zhàn)，據(jù)路標稱：“圖像處理部分并不是簡單的軟硬件調整就可以完成覆蓋，更多的還是需要對這部分整體工作的深度理解和豐富經(jīng)驗。此外，使用外置的ISP對降低系統(tǒng)的功耗，節(jié)省AP的資源（用以做其他應用）。”MTK也稱：“最主要是處理器性能和電路板面積的挑戰(zhàn)。因為各家對性能和面積的取舍不一定會一致. 無論是別人改，還是自己改都會有上市時間的問題。”
當然，做獨立ISP同樣會面臨一些挑戰(zhàn)，據(jù)周宇介紹，作為ISP供應商，首先要能夠提前預判市場的需求，找到能為客戶帶來差異化的個性化需求，能夠引導客戶去采用并為拍照帶來額外的價值。其次，一旦這些性能成為高端旗艦機的一個主流應用的時候，AP廠商會再次試圖集成，這時ISP供應商就需要做到更好的效果或者找到更新的技術方向。所以，國內ISP供應商一直需要跟國際巨頭賽跑。
此外，在上文中我們有提到ISP的技術研發(fā)難度相當大，如華為海思就投入了巨額資金花費了三年時間才實現(xiàn)ISP的商用，這點足以體現(xiàn)ISP的技術研發(fā)難度。據(jù)MTK表示：“與sensor廠商合作，要配合很多零件，比如 Lens、ois、imagesensor等。Sensor廠商做不足的地方，我們要補足，還要長期跟sensorvendor 一起做review ，克服一些技術困難，比如PDAF、RWWB等。”
據(jù)周宇介紹，圖像是一個模糊化的數(shù)學，由于圖像在很多領域和方向并沒有一個統(tǒng)一的規(guī)范和評價標準，甚至很多對立的邊界都是模糊的，這就必然的導致了做圖像或者說做ISP更像是由我們的研發(fā)人員和工程師在進行一件藝術的創(chuàng)作，為我們的客戶畫一幅畫。而將這幅畫畫好首先需要有精湛的畫功和獨到的審美。其次，除了需要有精湛的畫工和突出的審美能力，還要有深刻理解客戶需求并及時響應的能力。最為重要的是，ISP畢竟是一項芯片的研發(fā)工程，這里需要非常多折衷的智慧和經(jīng)驗的積累。
作為國內為數(shù)不多的ISP供應商，在手機市場，興芯微當初推出一顆應用于500萬像素的ISP芯片，主要用于MTK6572平臺，傳音、中興等客戶都有采用。針對雙攝像頭，其重點還是提供雙路的ISP處理芯片，同時聯(lián)合戰(zhàn)略合作伙伴提供后面的應用算法，組合成為一個解決方案。
此外，對于ISP供應商而言，除了智能手機市場，一些新興市場同樣是他們的目標，據(jù)周宇介紹，興芯微目前一個核心領域是汽車電子，并且在該市場，通過兩年多的耕耘，已經(jīng)奠定了市場地位，并即將做車規(guī)級的芯片，進軍汽車前裝市場，為自動駕駛、ADAS的普及作出貢獻。同時興芯微非?？春肁R/VR、無人機、機器人市場，已經(jīng)在為很多合作伙伴提供芯片。MTK同樣表示將會將ISP技術應用到AR/VR、車載等領域。索喜科技同樣將ISP產(chǎn)品用于安防，運動相機，無人機相機，全景相機等應用方向中。
01月07日 18:14
