摘 要： 一種新型運動自適應去隔行視頻處理算法，并進行了數字邏輯電路實現。該算法利用全局運動統計方法對傳統的運動檢測結果進行校正處理，以提升運動檢測處理的準確性。對場內空間插值進行定向邊緣平滑濾波，保持邊緣的清晰平滑。
關鍵詞： 去隔行; 運動自適應; 全局運動統計; 邊緣平滑濾波; 數字邏輯電路
?
視頻去隔行處理的功能是將隔行掃描的視頻序列轉換為逐行掃描視頻序列，從而用于逐行播放設備,主要包括：逐行CRT顯示器、液晶LCD、等離子顯示器以及投影儀等的顯示。目前的去隔行算法分為兩類：運動補償算法MC(Motion Compensation）和非運動補償算法NMC[1-2]。
非運動補償算法的基礎為時間域插值算法和空間域插值算法[2]。時間域插值也稱為場間（inter-field）插值算法，其優點是對于靜止區域能還原得到最好的圖像結果，但在運動區域則會出現羽化現象。空間域插值算法即場內（intra-field）插值算法，適用于運動區域的處理，目前多采用邊緣方向插值的方法以保護圖像邊緣信息。但是由于空間域信息的不足，因此這種方法會出現圖像模糊和邊沿鋸齒現象。運動自適應方法[3]結合了上述兩種方法的特點，通過對像素點進行運動檢測，判斷其運動狀態，從而確定最終的插值方法[4-5]。該方法的問題在于不準確的運動狀態檢測結果會直接影響最終的圖像質量，而被檢測為運動狀態的區域依然存在場內插值的模糊與鋸齒問題。
運動補償算法[6]是更為先進的去隔行處理算法，主要是根據運動估計處理得到運動矢量信息，并以此作為像素插值的參考依據。理論上這種方案能提供更高質量的圖像處理結果，但其計算復雜，會極大地增加運算量以及硬件實現的資源開銷。此外，運動補償算法本身對運動估計精度的要求較高，在無法完全確定運動矢量的準確性時仍然需要運動自適應算法作為補充方案[7]，以達到最佳的處理結果。
針對以上問題，本文提出一種基于全局運動統計和邊緣平滑濾波的運動自適應去隔行視頻處理算法，并進行了數字邏輯電路實現。該方法提升了運動檢測的準確性，保證了邊緣的平滑，達到提高圖像處理質量的目標，同時其適當的運算開銷適于硬件邏輯電路應用。
1 算法描述
運動自適應去隔行方法利用像素點空間和時間鄰域上的像素信息對其進行運動檢測，得到歸一化運動狀態值M[8]。而后分別采用時間域場間平均插值和空間域場內定向邊緣插值方法[9]，得到中間結果Pinter和Pintra，并按照公式(1)以M為系數進行加權平均，得到最終結果Presult。該方法影響圖像質量的關鍵在于改進運動檢測的準確性以及提高場內插值方法的處理效果，這也是本文研究的重點。
1.1 基于全局運動統計的運動檢測
傳統的運動檢測是利用相隔場(即奇-奇場或偶-偶場)對應位置的局部時空域內像素信息進行計算，本文稱其為幀間運動檢測結果Mframe。由于該方法受到幀頻的限制以及噪聲等因素的影響，往往會出現檢測誤差，從而導致處理結果的錯誤。針對該問題本文提出了基于全局運動統計的運動檢測算法，其基本流程如圖 1所示。本方法利用邊緣檢測處理和場間運動檢測處理得到的參考信息，判斷圖像的全局運動狀態。而后根據上述信息從全局的角度對局部幀間運動檢測結果進行分類校正，從而提高運動檢測的準確性。
?
1.1.1 場間運動檢測
幀間運動檢測使用相隔場之間信息進行運動的判斷無法檢測出高于幀頻的運動，針對這個問題本文的方法是引入場間運動檢測處理。首先計算待處理像素與相鄰場對應位置像素的絕對差值，然后利用閾值處理得到是否存在場間運動的標志信號Ffield。
式(2)中，由于當前場中該位置并沒有對應的原始像素點，因此采用垂直濾波的方法得到該位置的估計值。其中n表示時間軸上待插值像素點所在的場序號，i和j分別表示像素點的垂直和水平坐標位置，a(m)(m∈{-3,-1,1,3})為低通濾波器系數，Tfield為場間運動閾值。
1.1.2 邊緣檢測
邊緣檢測用于檢測待插值像素是否處于圖像中物體的邊緣位置，如圖2所示，其中黑色為原始像素點，白色為插值像素點，而灰色為待檢測像素。D1～D5進行當前第n場邊緣檢測，D6利用第n-1場輔助檢測當前場高頻的雙向跳變邊緣。而后計算上述差值集合的最大值是否超過閾值Tedge，即得該像素點是否為邊緣點的標志信號Fedge。
?
?
1.1.3 運動統計校正
運動統計校正功能整體流程如圖3所示。經過實驗表明，圖像中邊緣的運動狀態往往更能代表圖像的運動狀態，即如果邊緣像素點普遍運動，則圖像偏向有運動；反之則圖像偏向無運動，因此，使用邊緣檢測得到邊緣處像素點的幀間運動信息進行全局統計，而非邊緣點則忽略不計。
?
首先按照閾值式(4)得到是否存在幀間運動的標志Fframe，而后逐點統計一幅圖像的邊緣點中有幀間運動和無幀間運動的像素個數，分別得到運動量Nm和靜止量Ns,再按照式(5)條件得到全局運動狀態C(n)。
?
接下來利用上述得到的三個像素局部運動特征(幀間運動標志Fframe、場間運動標志Ffield、邊緣標志Fedge）以及一個全局特征（全局運動狀態C(n)）形成四維狀態分類，以確定每個像素所屬的狀態以及對應的校正系數{kp,q|p∈[0,2]、q∈[1,5]}，如表 1所示。
?
根據校正系數k，對原有幀間運動檢測結果按式(6)進行校正，得到運動檢測校正值M′用于式(1)的運動自適應加權。
1.2 邊緣平滑濾波
場內邊緣方向濾波插值的流程如圖4所示。首先需要對像素點的邊緣方向進行檢測，而后沿該方向θP對像素進行定向濾波插值，得到插值結果Pdir_flt。處理后的圖像會出現一定程度的鋸齒現象，特別是在一些比較細微的斜向邊緣或斜線處，這種情況更為明顯。這里提出新型邊緣平滑濾波算法，即利用定向插值信息，對插值結果進行有選擇的濾波處理，可以有效地消除鋸齒現象，提升圖像質量。
?
以圖5所示待處理像素A為例，其方向濾波的插值方向θP如雙箭頭虛線所示。平滑濾波以該方向為基準，沿第1、3象限分別計算該方向側上方像素差值絕對值DBC=|PB-PC|、側下方像素差值絕對值DDE=|PD-PE|以及角點像素差值絕對值DGH=|PG-PH|（方向為第2、4象限同理可得）。而后比較DBC和DDE得到較小值Dmin和較大值Dmax。再分別判斷以下四項條件，以確定是否滿足選擇性濾波要求，其中T1、T2和T3分別為判定閾值。
(1) C1: Dmin
(2) C2: Dmax>T2（該條件表示差值較大的一側相關性較弱）;
(3) C3: DGH>T3（該條件表示角點之間的相關性較弱）;
(4) C4: θP(0,π/2)（該條件表示當方向為水平或垂直時不做處理）。
上述判定條件是為了保證選擇出待處理像素的某鄰近像素之間具有足夠大的相關性的同時，其他鄰近像素的相關性比較弱，以避免出現誤平滑的情況。平滑處理是對滿足條件的待處理像素A以及對應較小值Dmin的兩個像素進行低通平滑濾波（其中{a(m),m∈[0,2]}為濾波器系數），從而得到最終像素A的濾波結果Pintra。如果不滿足條件則略過此過程。
2 邏輯電路實現
圖6所示為去隔行邏輯電路單元結構圖。該電路設計要求處理10位亮度和色度信號，接收NTSC制(525/60Hz)以及PAL制(625/50Hz)視頻輸入。數據格式為4:2:2的YUV類型，最大圖像尺寸支持1920×1080像素(HDTV)。由于需要同時對三場圖像進行處理，因此外接了二場緩沖存儲器。改進功能模塊電路(全局運動統計和邊緣平滑濾波)共使用了23個加(減)法器和31個比較器，而并不包含復雜的乘除法運算以及占用開銷較大的行/場緩存，因此硬件開銷較小，同時有利于保證電路的高速處理。
?
3 實驗結果
3.1 客觀數據比較
對常用去隔行處理方法（場內線性插值(BoB)、場間平均(weave)[2]、運動自適應插值(MA)以及本方法（即在運動自適應插值基礎上增加全局運動統計校正算法和邊緣平滑濾波算法）進行峰值信噪比(PSNR)[10]的比較，此外加入四場運動自適應算法[11]（4F-MA）、3D遞歸運動補償算法[4](3DRS-MC)以及四場自適應全局運動補償算法[7](4F-AGMC)作為對比。各算法處理結果如圖7所示。根據數據可以看出，本文方法與原有運動自適應方法相比，由于運動檢測結果更為準確，同時減少了場內插值的鋸齒效應，因此PSNR值有所提高，已經達到或接近運動補償方法的效果。雖然對于運動較為劇烈的圖像中本文方法結果有所不足(如Stefan和Tennis)，但優勢是在運算代價較小的前提下，仍能保證較高的圖像處理質量。
?
3.2 主觀評價對比
PSNR比較雖然是圖像處理中重要的評測方法，但有時難以完全體現算法的處理效果，因此主觀評價同樣重要。這里以測試視頻Stefan和tin序列為例來說明算法的改進效果。測試視頻Stefan中球拍的高速運動會導致運動檢測的失敗而使圖像出現柵狀橫線，如圖8所示，本文全局運動統計的校正方法可以有效地消除這個缺陷，從而達到更好的圖像質量。測試視頻tin存在一些運動的斜向細線，如果場內插值不夠準確就會出現如圖9所示鋸齒，而本文方法改進了場內濾波將細線變得更清晰和平滑，改善了最終的視覺效果。
?
本文提出一種基于全局運動統計和邊緣平滑濾波的運動自適應去隔行視頻處理算法，并進行了數字邏輯電路實現。該方法利用全局運動統計方法對傳統的運動檢測結果進行校正處理，得到更為精確的運動狀態信息用于自適應加權插值。此外，對場內空間插值的結果進行沿邊緣方向的平滑濾波，從而保持邊緣的清晰平滑。
實驗表明，本文方法在只增加較少運算開銷的前提下，達到或接近運動補償算法的處理效果，提高了運動自適應去隔行視頻處理方法的圖像質量，適用于硬件邏輯電路實現以及視頻實時處理應用，具有較高的實用價值。
參考文獻
[1] ?JACK K. Video demystified[M]. Englewood Cliffs, Elsevier Inc, 2005.
[2] HAAN G D,BELLERS E B.De-interlacing-an overview[J]. ?Proceeding of the IEEE, 1998,86(9):1839-1857.
[3] ?ACHIHA M, ISHIKURA K, FUKINUKI T. A motionadaptive high-definition converter for NTSC Color TV
?Signals[J]. SMPTE Journal, 1984,93(5):470-476.
[4] ?MARTINS B, FORCHHAMMER S. A unified approach to?restoration, deinterlacing and resolution enhancement in?decoding MPEG-2 video[J]. IEEE Trans. Circuits and?Systems for Video Technology, 2002,12(9):803-811.
[5] ?LEE S G, LEE D H. A motion-adaptive de-interlacing?method using an efficient spatial and temporal interpolation [J]. IEEE Trans. Consumer Electronics, 2003,49(4):1266-1271.
[6] ?HAAN G D, KETTENIS J, LOORE B D. IC for motion?compensated 100Hz TV with natural-motion movie-mode
[J]. IEEE Trans. Consumer Electronics, 1996:165-174.
[7] ?CHANG Y L, LIN S F, CHEN C Y, et al. Video deinterlacing by adaptive 4-field global/local motion com-
?pensated approach[J], IEEE Trans. Circuits and Systems?for Video Technology,2005,15(12):1569-1582.
[8] ?YU L J, LI J T, ZHANG Y D, et al. Motion adaptive?deinterlacing with accurate motion detection and antialiasing interpolation filter[J]. IEEE Trans. Consumer?Electronics, 2006,52(2).
[9] ?HAAN G D, LODDER R. De-interlacing of video data?using motion vectors and edge information[C]. Digest of?the ICCE′02, 2002:70-71.
[10] WANG Yao, OSTERMANN, ZHANG Y Q. Video processing and communications[M]. Pearson Education, 2003.
[11] LIN? S F, CHANG Y L, CHEN L G. Motion adaptive?de-interlacing by horizontal motion detection and enhan-
?ced ?ELA processing[C]. Proc. 2003 IEEE Int. Symp.?Circuits?and Systems,2003: 696-699.