攝影測量的中心問題是從獲取的影像來得到成像像素在影像中的世界點的三維坐標和語義屬性的過程。其核心問題如下：
　　1、 如何建立相機和外部世界坐標之間的關(guān)系。這里需要兩步：1)確定內(nèi)參數(shù);2)確定外參數(shù)。其中內(nèi)參數(shù)用來描述相機在小孔成像過程中的一些重要參數(shù)值(焦距、主點、畸變...);外參數(shù)用來描述相機怎么擺在外部世界坐標系里(三個旋角組成的旋轉(zhuǎn)矩陣，三個線元素組成的相機中心在世界坐標系的位置)。這個關(guān)系在 A)攝影測量的共線方程和 B)幾何計算機視覺的投影方程里得以表達。從這里可以衍生的一點是，如果你知道外部世界點坐標，又能在影像上高精度定位出相應(yīng)的成像點坐標，那么你就可以算出內(nèi)外參數(shù)了，從而完成相機標定。當然，標定還有更多變種，但萬變不離該宗。
　　2、 弄清了相機和外部世界的坐標關(guān)系怎么擺，接下來就要考慮怎么通過相片來算點坐標了。通過可能你已經(jīng)發(fā)現(xiàn)，當你的外部世界坐標點在成像的光線上(即相機中心向像點發(fā)出的射線)來回竄動的時候，它對應(yīng)的影像像點坐標是不變的!!這說明從物方點到像點的映射從線到點的對射，一條光線對應(yīng)一個像點，所以需要加入第二張影像來交會確定出世界點的坐標。這引入了兩個問題：1)兩個相機之間的幾何關(guān)系怎么表達?這是用相對定向模型(攝影測量)或者基礎(chǔ)矩陣(計算機視覺)來表達的;2)怎么確定某個像點在另一張影像上的同源點(同名點/匹配點)?這個通過影像匹配來獲取。 當幾何關(guān)系被確定之后，通過前方交會就可以算兩張影像上的同名點世界點的坐標。
　　3、 在2的基礎(chǔ)上，要完成一片區(qū)域或者一個目標(建筑物、雕塑)的攝影測量，需要多張影像來完成。此時，可在剛才確定的相對定向的基礎(chǔ)上進行連續(xù)的相對定向，即以某兩幅影像相對定向的初始相機坐標系為參考坐標系，不斷加入影像進行相對定向并放在第一幅影像表達的初始相機坐標系里面，所以進行完連續(xù)相對定向之后的坐標系還是初始的相機坐標系，由于相對定向的過程需要同名像點，所以實際上這個過程之后既得到了相機的姿態(tài)(位置、朝向)，又得到了一部分用于定向的匹配同名像點在相機坐標系下的三維坐標(結(jié)構(gòu))。由于在這個過程中相機位置不斷變化，形成了motion，所以這個過程在計算機視覺里又稱為Structure From Motion(SFM)。把一系列影像都放在某個相機坐標下之后，此時通過少量地面控制點就可以把它與物方世界坐標之間的轉(zhuǎn)換關(guān)系解算出來，完成絕對定向。這種思路稱之為相對定向-絕對定向法。
　　通過以上的方法解算的過程一般都是漸進的，誤差會不斷積累和傳播，為了提高精度，在最后會進行整體的再一次優(yōu)化，優(yōu)化的目標一般是最小化重投影誤差。由于成像模型里的旋轉(zhuǎn)矩陣是高度非線性的，這個優(yōu)化問題是非線性優(yōu)化問題，需要通過迭代來完成。通過迭代來優(yōu)化的過程自然涉及到更新步長和更新方向(梯度)的問題，迭代步長和更新方向的確定用到了介于牛頓法(二階梯度)和標準梯度下降(一階梯度)之間的LM算法來完成，我們稱這個過程叫光束法平差。
　　4、至此，你完成了把多幅影像對應(yīng)的相機放到外部世界坐標系里，并在此過程中得到了一部分用于定向的匹配像點的3D坐標(稀疏定向點點云)。下一步就是密集地恢復(fù)深度，密集地測出影像上的點位坐標。以前我們叫立體匹配、多視立體匹配，現(xiàn)在匹配算法進步了，能逐像素匹配，我們干脆就叫它密集匹配了(Dense Matching)。其過程如下：
　　先生成核線影像，讓視差集中到水平方向，也就是說一對核線影像上坐標(x1,y1)來說，它在對應(yīng)的影像上的同名點坐標(x2,y2)總滿足y1=y2. 所以你只需要去估計影像1上每個點的視差值x1-x2.注意，視差值決定深度(世界3D 點到成像平面的距離)。
　　每算一個可能的位置，都有一個匹配代價(交叉相關(guān)、互信息....)，這樣就形成了一個視差代價函數(shù)空間，它對應(yīng)著影像1上每個像素取每個潛在可能視差值的匹配代價。

   　估計每個像素點的視差。這個估計的過程就是在取每一個視差值的時候，你就有一個匹配代價，這項稱為數(shù)據(jù)項。同時，你還得考慮領(lǐng)域，也就是說當某個像素值與鄰近像素相近時，我們也認為它們的深度更相近，如果他們的深度不相近，我們就懲罰它們;同理，當鄰近像素的灰度值變化很大的，我們也認為它們的深度值傾向于有更大的變化，那么就會對灰度值變化很大而視差值差別不大的情況進行懲罰。完成這個懲罰設(shè)計出來的代價函數(shù)就是平滑項。平滑項和數(shù)據(jù)項一起構(gòu)成了匹配優(yōu)化的目標函數(shù)，也稱作能量函數(shù)，最優(yōu)化求解這個函數(shù)使得代價(cost)最小的解就是求解的每個像素的視差值。當然，有一部分點可能不能同時被兩張影像看到(遮擋)，這部分像素深度無法得到。
　　多個密集匹配的立體像對的結(jié)果進行融合，得到整體的視差值和三維點云。
　　5、干完這步，你可以開心的獲取：
　　i) 數(shù)字地表模型
　　ii)數(shù)字正射影像
　　iii)獲取 數(shù)字高程模型 DEM (要自動得把植被和建筑從DSM上分類出來剔除掉，然后插值格網(wǎng)化)

　　iiii)數(shù)字線劃圖 (還不是自動地
　　6、走到這里，我們做的還是幾何問題。那么語義屬性在哪里呢
　　屬性通過分類來算。輸入值是影像(可加入深度)(或特征)，輸出值是類別，中間過程用監(jiān)督學習下的分類器來完成?；蛘哂梅潜O(jiān)督學習壓縮數(shù)據(jù)，然后用監(jiān)督學習得到分類器。
　　屬性怎么算呢?如果用上我們辛辛苦苦得到的深度值，那我們依靠的還是馬爾提出的視覺問題框架，通過深度值為跳板來解決視覺問題?，F(xiàn)階段以我的知識，能理解到的需要解決的核心問題是：
　　如何設(shè)計出好的特征，這里面又分為采用經(jīng)典的手動設(shè)計特征和現(xiàn)在火熱的基于深度神經(jīng)網(wǎng)絡(luò)的自動特征表達學習，其核心問題是找出區(qū)分力高的特征表達。
　　如何表達先驗，如何融合已有的知識，如GIS數(shù)據(jù)庫、地圖等信息，如何融合多平臺的測量數(shù)據(jù)(衛(wèi)星影像、航空影像、地面車載數(shù)據(jù)，UAV數(shù)據(jù)以及網(wǎng)絡(luò)大數(shù)據(jù)）。
　　不同地區(qū)的訓(xùn)練數(shù)據(jù)往往類別規(guī)定和類別分布不一致，如何有效的統(tǒng)一和遷移學習到的知識;以及如何建立高效海量的數(shù)據(jù)庫來加速這一領(lǐng)域的發(fā)展。這個問題還是現(xiàn)在進行時。
　　7、 航空影像的分類解決好了，還是土地的覆蓋分類，土地的利用類別呢?國土資源的管理、地圖的制作依靠的是土地的利用類別(荒地可能是荒地，可能是閑置的商業(yè)用地，這區(qū)別太大了)。解決這個問題一方面需要加入合理的先驗;另一方面需要更加先進的分類模型和大數(shù)據(jù)的支撐。