我總結了幾個可以買的到的傳感器，而且也給出了幾個傳感器的選擇標準。 1.高幀率，120Hz是標配 2.體積小巧，滿足狹窄環境安裝 3.功耗低，滿足邊緣計算的能力 4.近紅外波段敏感，因為要對這個波段進行感光 5.黑白的就行，彩色沒有這個必要 我說下為什么用黑白的： 第一，同樣大小的像元，黑白傳感器可以用較小的曝光時間獲取理想的圖像，這樣可以減弱抖動以及飛行運動造成的影響（實際上NAV相機就是采用控制曝光時間來減弱運動模糊的，這個是VIO）； 第二，同樣的像素個數，黑白傳感器可以比彩色傳感器獲得更高的空間分辨率，彩色傳感器因為顏色插值的原因會使分辨率降低大約30%左右。當然還有別的原因，如黑白圖像數據量小，處理起來運算量小，實時性高等。 我推薦的是OVM6211，OVM7251，實驗可以使用OV7251. 因為最容易買到的就是OV7251，所以接下來就重點說這個。 首先要知道這個CMOS的像素是30W。

　　來自豪威科技的OV7251-2B全局快門圖像傳感器是一款3.0微米的傳感器，采用1/7.5英寸光學格式，120fps提供640×480分辨率，并具有單通道MIPI串行輸出接口。這個也就是我選擇的一個原因。 這款產品同時能夠以180 fps提供具有BIN模式的QVGA（320×240），以及以360fps提供具有BIN和SKIP模式的QQQVGA（160×120）。 傳感器可提供99.96％的快門效率，并具有光導功能，可改善光捕獲的角度響應，從而實現更優秀的光學性能。 利用業界最小的全局快門像素，黑白 OV7251 能夠以每秒 120 幀 （fps） 的速度捕獲 VGA （640×480） 分辨率視頻，以 180 fps 的速度捕獲 QVGA （320×240） 視頻，以及 QQVGA （160 ×120） 以 360 fps 進行合并和跳躍。OV7251 的高幀率使其成為低延遲機器視覺應用的理想解決方案。 對，這個全局快門我也要寫一下：

　　可以看到這個全局快門在拍運動的物體的時候是很有效的

　　這個是OV6211

　　這個是OVM7251

　　OVM7251表面圖

　　OVM7251有兩個版本：

　　用于AR/VR眼動追蹤的850nm模型；支持面部認證中的機器視覺與3D感知的940nm模型。將OVM7251用于支持AR/VR頭顯實現眼動追蹤，設計者可以編程系統集成渲染注視點位置，并降低周圍圖像的分辨率，從而進一步節省功耗。

　　另外在Pico 3NEO版本的環境攝像頭也是使用的這個模組，就是透視模式使用的攝像頭，大家有機器的可以體驗一下。

　　卷簾快門傳感器的設計是為了捕捉靜態圖像和視頻拍攝，因此擁有非常高的分辨率和顏色處理能力。但其缺點在于，它是逐行拍攝圖像，拍攝和曝光時間過長，如果拍攝對象是汽車這樣的快速移動物體，圖像可能發生扭曲，而且功耗過高，不適合用于計算機視覺。

　　而全局快門的原理則完全不同，它是一次拍攝整幅圖像，所有像素同時曝光。而且成像效果準確，曝光時間短，功耗也低，未來計算機視覺將走向全局快門。

　　卷簾快門像素點常見的在1.1微米以下，而全局快門通常在2.2微米以上。

　　這個OV6211其實是專門設計給眼動追蹤的傳感器

　　這個是它的一個幀率參數

　　1/7.5英寸的OV7251具有多種低功耗模式，包括光感應模式和超低功耗待機模式。在光感測模式下，OV7251 的行為類似于環境光傳感器 （ALS），僅當檢測到光變化時才將傳感器從“睡眠模式”喚醒。同樣，在超低功耗模式下，傳感器可以降低分辨率和幀率以進一步降低功耗。 讓我來總結一下：

　　這個傳感器的輸出頻率是這樣的

　　我不是很明白，是不是以為數據輸出的帶寬的原因，不過是可以按照一種固定的模式把感興趣的圖像來輸出的。

　　這種提高幀率的方法叫：開窗方法其中最主要的當屬ROI模式（Region of interest），ROI是在成像應用中，在相機傳感器分辨范圍內定義一個或多個感興趣的窗口區域，僅對這些窗口內的圖像信息進行讀出，只獲取該局部區域的圖像。設定較小的ROI區域可以減少相機傳送及計算機需要處理的圖像信息量，并提高相機的采集幀率。

　　SKIP（Skipping mode），這種模式就是按照一定的規律，把想要的數據采集上來，把其余的數據扔掉。如下所示，column skip 2 row skip 2 留下的就是白色的像素，把黑色的像素丟掉。

　　這種模式會改變原有像元之間的相鄰關系，所以對Bayer彩色的相機來說，會造成一定的顏色失真，所以它常見的應用就是預覽，在工業實際中應用并不多。 第三種BIN（binning mode），就是把相鄰的像素合成一個像素，然后再輸出。如下所示，2 bin to 1 所有的像素都參與了新像素的生成。

　　低照度條件下，選擇binning模式圖像效果更佳。

　　這個是具體的OV采樣模式

　　IR cut filter，即紅外截止濾光片，它放在于LENS與Sensor之間。因人眼與CMOS Sensor對各波長的響應不同，人眼看不到紅外光但sensor會感應，因此需要IR cut filter阻絕紅外光。

　　這個是OV7251

　　6.5厘米的最小對焦距離有點不太行，太近了，這個是我找的一個模組的信息，不要較真。 輸出的是MIPI的一路，要學的東西好多，頭皮有點癢。

　　現在做demo也是可以的，這個距離

　　眼球追蹤的幾個階段瞳孔檢測算法的可視化。

　　1）眼睛圖像轉換為灰度、用戶感興趣區域（白色描邊矩形）和初始值，瞳孔區域的估計（白色方塊和虛線方塊），這樣的優點就是節省算力。

　　眼動追蹤：梯度法精確定位眼中心（論文），也就是要看我寫的這篇文章。

　　2）Canny邊緣檢測（綠色線）

　　3）定義“暗”區域為偏移眼睛圖像直方圖的最低峰值。

　　4）過濾邊緣以排除光譜反射（黃色），而不是在“暗”區域（藍色）

　　5）使用連接的組件提取邊緣到輪廓，并根據曲率連續性準則（多色線）分割成子輪廓。

　　6）候選瞳孔橢圓（藍色）通過橢圓擬合形成

　　7）通過增強組合搜索找到最終的橢圓擬合（最終橢圓與紅色中心）-支持用白色繪制的邊緣像素。

　　下面是插一個MIPI硬件設計時候的布線參考：

　　MIPI因為一種高速差分信號的接口，為了保證信號的同步和一致性，必須保證MIPI DP/DN保持等長，無論是線對與線對之間（pair to pair）還是單組信號的DP/DN之間，一般需要遵守的長度規則如下：camera pair to pair 100mil 單組之間：25mil。 在MIPI走線時，一般需要保持DP/DN在走線的過程中保持等距，保證一定的耦合程度，但是需要弄清楚的時，等長的優先級是高于等距的。且在走線時，線對之間要保持2W的距離。

　　注：MIPI在走線時優先級最高的是匹配等長，其余的都可以實際要求和應用進行靈活處理

　　LVDS也是我們使用CMOS的時候常見的數據輸出接口：Low Voltage DifferenTIal Signal（低電壓差分信號）

　　電壓很低，1v左右，消耗資源少，差分信號保證抗干擾能力。 接口由1組差分clock和若干組差分信號線組成，既然有CLK，那么LVDS就是同步信號。LVDS的控制信號和數據信號復用接口，CLK是用于同步。既然是復用的，LVDS的協議中也一定有區分控制信號和數據信號的方法。 LVDS主要用于視頻傳輸的兩個領域： camera和主控——視頻采集 LCD和主控——視頻顯示 LVDS利用差分抗干擾能力，提升clock頻率從而提升貸款，傳輸舉例也更遠，LVDS的時鐘頻率可以非常高。

　　話說找到一個MIPI+FPGA的方案商，這個宣傳圖咋感覺是DJI？？？

　　OV7251是很便宜的，做demo合適

　　這個是OVM7251，做產品合適，但是貴，要100+

　　這個是深圳一家眼動的廠子的模組，我不知道放這里是不是合適

　　但是它這個分辨率和幀率真的是看著還不錯，不知道是哪款芯片

　　因為我找到了OV7251的數據手冊，那這里也就看一下里面寫了什么：

　　這個OV7xxx，有兩個模組，一個是彩色，一個就是我們的這個，灰色的。

　　850nm正好是起始的波段

　　這個就是上面我發的圖下面的引腳，這個其實對我來說意義不大

　　這個是MIPI接口下的分辨率和幀率

　　MIPI的時序

　　輸出的時序控制

　　這個是使用FPGA的時候數據框圖

　　像素矩陣的排列

　　除了RAW，也可以輸出子采樣的圖像

　　硬件設計的時候，注意的參數

　　這么高的幀率，我們肯定是使用FPGA來處理的：

　　分辨率：640 x 480

　　數據格式：10位灰度

　　幀率：60fps （匹配顯示器刷新頻率）

　　通信- 控制接口：SCCB（I2C）

　　傳輸接口：1通道LVDS

　　速率：600Mbps

　　我們需要通過MCLK給攝像頭提供時鐘，RESET是復位線，PWDN在攝像頭工作時應該始終為低。PCLK是像素時鐘，HREF是行參考信號，VSYNC是場同步信號。一旦給攝像頭提供了時鐘，并且復位攝像頭，攝像頭就開始工作了，通過HREF，VSYNC和PCLK同步傳輸數字圖像信號。數據是通過D0~D7這八根數據線并行送出的。

　　CMOS圖像數據采集模塊，需等待I2C協議對攝像頭內部寄存器進行初始化。寄存器全部配置完成后，還需等待10幀數據，此等待10幀數據的目的是等待攝像頭工作狀態穩定。待寄存器配置生效、攝像頭工作狀態穩定后再開始采集圖像。

　　具體地，待等待幀數等于10時，會使能標志信號frame_val_flag，使得OV7251開始對采集的圖像數據中相應范圍0~76800（340×240）的8位像素點數據經拼接操作，轉存到寄存器data2ram中，data2ram將輸出拼接后的16位數據到SRAM模塊的輸入引腳dina。

　　這個就是一個簡單的采集過程。

　　另外小米8也是使用了這個模組：增加了紅外人臉解鎖功能，還是依靠了聽筒右邊的補光燈和型號為OV7251 IR Sensor去實現這樣一個功能，先照亮人臉，再去接收黑白的圖像，然后再識別解鎖。相比以往依靠前攝像頭去解鎖的話，小米8對于光線環境是沒有要求的，這也依靠了紅外線的活體檢測能力，且同單純的攝像頭來對比，安全性會更高一些。

　　在這里

　　這里

　　這個傳感器賣的是真的好！

　　接下來拆個Huawei P30的主傳感器吧~

　　特寫

　　和我手的比較

　　放大的CMOS引腳

　　換另一邊

　　全挑斷

　　破壞一下

　　全球第一個在華為P30傳感器上面刻字的成就

更多信息可以來這里獲取==>>電子技術應用-AET<<