最小二乘匹配LSM，最小二乘模板匹配LSTM

2、最小二乘模板匹配

《基于序列圖像》

《數(shù)字?jǐn)z影測量學(xué)》

1、定義

以給定的模式作為參考模板，是高精度匹配法之一。

最小二乘影像匹配LSM：

德國Ackermann提出，利用影像窗口內(nèi)的信息進(jìn)行平差計算，使得影像匹配達(dá)到0.1甚至0.01像素的精度。

不僅可以解決單點匹配single-point matching求視差，也可以直接解求其空間坐標(biāo)同時解求影像的方位元素；

還可以解決多點影像匹配multi-point matching和多片影像匹配問題multi-photo matching（胡翔云，2001）；

最小二乘模板匹配LSTM（least squares template matching）：

Gruen等（Gruen，1985；1992）對LSM進(jìn)行了擴(kuò)展，以給定的特征模式作為參考模板與實際影像做最小二乘影像匹配，從而以很高的精度提取目標(biāo)，稱為最小二乘模板匹配Least Squares Template Matching ,LSTM。LSTM可以擴(kuò)展到利用多張重疊影像直接提取特征的物方坐標(biāo)，如Gruen的LSB-Snake方法（Gruen，1997）和后續(xù)的空間圓重建等。

2、基本思想

生成一個理想的小塊邊緣模板；

將該模板與測量圖像進(jìn)行匹配，精確提取特征的邊緣位置；

 

給定模板灰度f(x,y)，對應(yīng)點為

測量圖像的匹配窗口灰度g(x,y)，對應(yīng)點為

 

模板與測量圖像存在仿射變換：

 

 

 

匹配的目的是：解算出變換參數(shù)，結(jié)合 邊緣點在給定模板上的精確坐標(biāo)，可以得到邊緣點的精確位置。

 

最小二乘是一個迭代過程，第一步的粗提取結(jié)果作為變換參數(shù)的迭代初值，代入矩陣方程求變形參數(shù)；

利用改正后的參數(shù)對測量圖像重采樣，計算模板與匹配子圖的相關(guān)系數(shù)。若大于預(yù)定閾值，迭代結(jié)束。

3、算法

• 一般的影像匹配只考慮影像灰度的偶然誤差v=g1(x,y)-g2(x,y)；而LSM在此基礎(chǔ)上，還引入了系統(tǒng)變形參數(shù)，同時按照最小二乘的原則，解求這些參數(shù)。
• 影像灰度的系統(tǒng)變形有兩類：輻射畸變、幾何畸變。
• 以灰度差平方和最小為判據(jù)（灰度差v），則影像匹配方程式為
• 利用一塊標(biāo)準(zhǔn)影像與待匹配影像進(jìn)行最小二乘影像匹配，以期獲得精確的邊緣位置。

4、基于模板匹配的直線段提?。▋H考慮了輻射的線性畸變的最小二乘匹配——相關(guān)系數(shù)）

最小二乘匹配是目前常用的直線段提取的方法，該方法精度高，穩(wěn)定靈活。

• 匹配前利用直線段的初始端點將影像塊旋轉(zhuǎn)為水平影像，水平影像每個像素都由雙線性內(nèi)插得到，這樣可以只在斷面方向匹配；
• 利用相關(guān)系數(shù)獲得自適應(yīng)模板：

h0,h1是輻射畸變參數(shù)。下面用g1表示實際影像模板，g2表示標(biāo)準(zhǔn)模板。

即：g1=h0+h1*g2

這里認(rèn)為g1和g2是線性相關(guān)的！

 

誤差：v=h0+h1*g2-g1

 

相關(guān)系數(shù)h0和h1：其中n為模板的像素數(shù)。

**************************************************************************************************************

一條直線段可用2個端點來表達(dá)，因此模板匹配的未知數(shù)就是端點坐標(biāo)的改正數(shù)。由于圖像已經(jīng)旋轉(zhuǎn)水平，那么起作用的只有y方向的改正數(shù)。（這里是不是只考慮平面上的平移和旋轉(zhuǎn)，若z方向改變了，怎么辦？）

• 即：誤差v=gy*dy -（g2-g1）,gy是旋轉(zhuǎn)到水平坐標(biāo)下，y軸方向的導(dǎo)數(shù)，一般用梯度代替，即gy=g(i+1,j)-g(i-1,j) (i為行號，j為列號)
• 匹配時，影像窗口內(nèi)每一個像元都參與平差，設(shè)直線端點i和j的坐標(biāo)為（xi=0,yi=0）,(xj=Lij,yj=0),則線段上任意一點a的坐標(biāo)為（xa,ya=0）
• 端點坐標(biāo)的改正：
• 直線模板匹配的誤差方程式：
• 對于相互遮擋的直線，需要進(jìn)行消隱分析。

*************************************************************************************************************

接上面的h1和h0，《數(shù)字?jǐn)z影測量學(xué)》

注意：這里沒有引入幾何變形參數(shù)，因此，匹配算法采用目標(biāo)區(qū)相對于搜索區(qū)不斷移動一個整體像素，在移動的過程中計算相關(guān)系數(shù)，搜索最大相關(guān)系數(shù)的影像區(qū)作為同名像點。

搜索過程：

5、僅考慮影像相對移位的一維最小二乘匹配

灰度函數(shù)g1和g2，其中，g2相對于g1存在移位（視差值）

6、基于單點的最小二乘匹配

兩個2維圖像的幾何變形，不僅存在如5的相對移位，圖形也會變化。

考慮一次幾何畸變：

再加上線性灰度畸變：