隨著計(jì)算機(jī)圖形學(xué)的發(fā)展，可以通過(guò)傳統(tǒng)的幾何方法建立真實(shí)的虛擬環(huán)境。通常，創(chuàng)建三維幾何模型來(lái)描述場(chǎng)景中的照明和表面紋理等特征。通過(guò)計(jì)算光強(qiáng)來(lái)生成視點(diǎn)觀測(cè)的圖像需要很高的計(jì)算能力，由此產(chǎn)生的效果很難重現(xiàn)照片中呈現(xiàn)的復(fù)雜的自然紋理。作為納斯達(dá)克上市企業(yè)“微美全息WIMI.US”旗下研究機(jī)構(gòu)“微美全息科學(xué)院”的科學(xué)家們就虛擬現(xiàn)實(shí)技術(shù)的計(jì)算機(jī)圖像場(chǎng)景構(gòu)建展開(kāi)深入研究。

    近年來(lái)，市面上有一種基于圖像的渲染技術(shù)，該技術(shù)具有真實(shí)場(chǎng)景的渲染質(zhì)量，且算法只與圖像分辨率有關(guān)。有對(duì)樣本的匹配待征由主垂直邊突出顯示，以避免局部最優(yōu)，提出了一種統(tǒng)一的圓軌跡圖像序列方法，使圖像采更加方便，將固定加速度繞水平面固定中心旋轉(zhuǎn)拍照，采集水平面內(nèi)各點(diǎn)的光信息，具有三維效果。

    以下論述了基于圖像的虛擬場(chǎng)景繪制技術(shù)的意義，討論了立體視覺(jué)的攝影幾何原理，討論了用三維全光函數(shù)構(gòu)造虛擬場(chǎng)景的方法，以減少傳統(tǒng)方法在相應(yīng)點(diǎn)匹配中的局部最優(yōu)。

    1、立體視覺(jué)的攝影幾何原理

    虛擬現(xiàn)實(shí)技術(shù)是近年來(lái)國(guó)內(nèi)外科學(xué)技術(shù)領(lǐng)域的熱點(diǎn)，涉及計(jì)算機(jī)圖形學(xué)、動(dòng)力學(xué)和人工智能等研究領(lǐng)域。隨著相關(guān)學(xué)科的發(fā)展，虛擬現(xiàn)實(shí)技術(shù)得到了迅速發(fā)展，并應(yīng)用于航天、醫(yī)療康復(fù)、建筑和制造等領(lǐng)域。在計(jì)算機(jī)的幫助下，虛擬現(xiàn)實(shí)技術(shù)實(shí)現(xiàn)了人們通過(guò)視聽(tīng)手段感受到的虛擬錯(cuò)覺(jué)。虛擬現(xiàn)實(shí)技術(shù)具有沉浸性和交互性的特點(diǎn)。它使用各種信息通道及時(shí)模擬高級(jí)用戶(hù)界面。人類(lèi)通過(guò)視覺(jué)感知所接收的信息占所接收信息總量的80%。構(gòu)建虛擬現(xiàn)實(shí)是虛擬現(xiàn)實(shí)的重要組成部分，在許多領(lǐng)域得到了廣泛的應(yīng)用。

    1.1 成像幾何原理

    虛擬現(xiàn)實(shí)技術(shù)要求用戶(hù)對(duì)虛擬環(huán)境有強(qiáng)烈的沉浸感。構(gòu)建虛擬場(chǎng)景是用戶(hù)體驗(yàn)真實(shí)視覺(jué)效果的一種方式。成像系統(tǒng)通常將三維場(chǎng)景轉(zhuǎn)化為二維灰度圖像。透視投影是一種常用的成像模型。其特征在于場(chǎng)景的光線(xiàn)通過(guò)投影中心，垂直于圖像平面的直線(xiàn)為投影軸。正交投影是透視投影的一種特殊情況，它使用平行于光軸的光將場(chǎng)景投影到圖像平面上。獲取每個(gè)點(diǎn)與攝像機(jī)之間的距離是視覺(jué)系統(tǒng) 的一項(xiàng)重要任務(wù)。深度圖中的每個(gè)像素值表示場(chǎng)景中一個(gè)點(diǎn)與相機(jī)之間的距離。被動(dòng)測(cè)距傳感器是視覺(jué)系統(tǒng)發(fā)射的光能。根據(jù)圖像恢復(fù)場(chǎng)景的深度信息，利用灰度圖像的陰影特征和運(yùn)動(dòng)特征，可以間接估計(jì)深度信息。雷達(dá)測(cè)距系統(tǒng)和三角測(cè)距系統(tǒng)是常用的主動(dòng)測(cè)距傳感器系統(tǒng)。主動(dòng)視覺(jué)主要研究視覺(jué)和行為的結(jié)合，通過(guò)主動(dòng)控制攝像機(jī)的位置和光圈參數(shù)來(lái)獲得穩(wěn)定的感知。

    1.2 立體成像原理

    立體成像系統(tǒng)在立體圖像對(duì)中找到與實(shí)際立體圖像對(duì)的共軛對(duì)是立體視覺(jué)中最困難的一步，為了減少相應(yīng)的點(diǎn)失配，建立了許多約束條件。傳統(tǒng)的特征點(diǎn)搜索是在一幅圖像上選擇特征點(diǎn)，一幅圖像的特征點(diǎn)位于另一幅圖像對(duì)應(yīng)的極線(xiàn)上。如果已知目標(biāo)與攝像機(jī)之間的距離在一定的間隔內(nèi)，可以將搜索范圍限制在一個(gè)小的間隔基于虛擬現(xiàn)實(shí)技術(shù)的計(jì)算機(jī)圖像場(chǎng)景構(gòu)建內(nèi)，這樣可以大大縮小尋找對(duì)應(yīng)點(diǎn)的搜索空間，減少不匹配點(diǎn)的數(shù)量。由于攝像機(jī)位置測(cè)量誤差的影響，匹配點(diǎn)可能無(wú)法精確地出現(xiàn)在圖像平面上對(duì)應(yīng)的極線(xiàn)上。立體視覺(jué)通常由兩個(gè)以上的攝像機(jī)組成。場(chǎng)景中對(duì)應(yīng)點(diǎn)的光強(qiáng)變化較大，匹配前需要對(duì)圖像進(jìn)行歸一化處理。一幅圖像的每個(gè)特征點(diǎn)只能對(duì)應(yīng)于另一幅圖像的一個(gè)唯一點(diǎn)。圖像中物體表面上各點(diǎn)的投影是連續(xù)的，物體邊界上的連續(xù)約束不成立。

    1.3 區(qū)域相關(guān)性

    邊緣特征通常對(duì)應(yīng)于對(duì)象的邊界。邊界的深度值可以是對(duì)象閉合邊深度距離之間的任何值。在兩個(gè)圖像平面上觀察到的輪廓圖像的邊緣與物體的邊緣不對(duì)應(yīng)，圖像平面的邊緣只能沿閉合邊緣檢測(cè)�；謴�(fù)深度的基本問(wèn)題是識(shí)別圖像中分布的更多特征點(diǎn)。兩幅圖像中的匹配點(diǎn)應(yīng)盡可能容易識(shí)別。感興趣的操作員應(yīng)該查找圖像中有較大變化的區(qū)域。它可以在利息度量函數(shù)具有局部最大值的地方進(jìn)行選擇。在識(shí)別出這兩幅圖像中的特征后，可以使用許多不同的方法進(jìn)行匹配。只有滿(mǎn)足極線(xiàn)約束的點(diǎn)才能是匹配點(diǎn)。

    2、全光函數(shù)的虛擬場(chǎng)景構(gòu)建方法

    IBR（image-based rendering）技術(shù)改變了人們對(duì)傳統(tǒng)計(jì)算機(jī)圖形學(xué)的認(rèn)識(shí)。IBR構(gòu)建虛擬環(huán)境的技術(shù)是基于泛函數(shù)理論的。構(gòu)建虛擬場(chǎng)景的全景方法突破了圖像樣本的匹配特征。均勻圓軌跡圖像序列的虛擬場(chǎng)景構(gòu)建方法是一種三維的完全函數(shù)。它可以產(chǎn)生水平立體的視覺(jué)效果，而且很容易獲得，渲染過(guò)程獨(dú)立于攝像機(jī)焦距等內(nèi)部參數(shù)，具有較高的操作效率。

    2.1 全光函數(shù)

    全光函數(shù) (Plenoptic Function) 描述了從空間中任何點(diǎn)看到的所有信息，描述了給定場(chǎng)景中可能出現(xiàn)的環(huán)境映射幾何，從一些定向離散樣本重建了一個(gè)連續(xù)的全光函數(shù)，并通過(guò)重采樣函數(shù)繪制了一個(gè)新的視圖。只要在任何視點(diǎn)收集入射光，就可以以某種方式構(gòu)建場(chǎng)景，圖像也是在特定時(shí)間通過(guò)空間中特定點(diǎn)的信息。五維全光函數(shù)很難捕捉。全光函數(shù)的維數(shù)可以繼續(xù)減小。全光函數(shù)是根據(jù)奈奎斯特定律，從空間采樣的光信息中重構(gòu)出一個(gè)連續(xù)的函數(shù)，從而構(gòu)造出一個(gè)虛擬場(chǎng)景。根據(jù)視點(diǎn)參數(shù)對(duì)函數(shù)進(jìn)行采樣，得到通過(guò)視點(diǎn)觀察到的圖像。

    2.2 全光函數(shù)的虛擬場(chǎng)景構(gòu)建方法

    二維全景圖是固定的。簡(jiǎn)化為二維的全光函數(shù)是固定視點(diǎn)，只收集空間中固定光點(diǎn)的信息。在重建的虛擬場(chǎng)景中，視點(diǎn)不能移動(dòng)，也沒(méi)有視差產(chǎn)生立體感。如果使用全景照相機(jī)，可以很容易地獲得全景圖。在不同方向拍攝的照片可以用普通相機(jī)縫成全景。全景法構(gòu)建虛擬場(chǎng)景的主要過(guò)程是拼接全景圖。通過(guò)將相機(jī)采集的具有重疊邊界的圖像無(wú)縫拼接，如將直線(xiàn)拼接成虛線(xiàn)，可以獲得反映特定場(chǎng)景的全景圖。

    目前的圖像拼接算法一般采用拼接算法和縫合算法。匹配是通過(guò)搜索本地通信來(lái)執(zhí)行的。拼接全景圖像的采樣序列采集過(guò)程是將光的中心固定在固定的中心，并以一定的角度拍攝照片，使其在固定的平面上旋轉(zhuǎn)。可以認(rèn)為同一圖像空間中相鄰圖像樣本之間存在平移關(guān)系。圖像的垂直邊緣成為匹配中的一個(gè)重要特征，基于垂直邊緣處理方法，利用圖像差分法找到相鄰圖像樣本的重疊區(qū)域 圖像樣本通常細(xì)節(jié)豐富。由于隨機(jī)噪聲的存在，數(shù)字圖像捕獲并不完全相同。細(xì)節(jié)紋理中的邊通常會(huì)在處理過(guò)程中引入其他錯(cuò)誤。平滑的圖像樣本通過(guò)垂直邊緣進(jìn)行銳化，圖像樣本卷積梯度算子方法用于突出銳化的邊緣特征，而不會(huì)導(dǎo)致邊緣被加寬從而引入誤差。

    2.3 均勻圓軌跡圖像序列的虛擬場(chǎng)景構(gòu)建方法

    平面功能和二維全景不能提供立體視覺(jué)。應(yīng)該找到一個(gè)適當(dāng)?shù)男问降募兒瘮?shù)來(lái)創(chuàng)建一個(gè)虛擬場(chǎng)景。當(dāng)一個(gè)人在水平面上移動(dòng)，而垂直方向上沒(méi)有視差時(shí)，他仍然能感覺(jué)到強(qiáng)烈的立體視覺(jué)。基于均勻圓軌跡圖像序列的圖像虛擬場(chǎng)景構(gòu)建方法是將攝像機(jī)放置在旋轉(zhuǎn)中心O附近，以捕獲到的圖像序列作為輸入，構(gòu)建三維全光函數(shù)。通過(guò)對(duì)所獲得的圖像序列的處理，可以得到在水平面一定范圍內(nèi)不同視點(diǎn)所觀測(cè)到的圖像，并且圖像序列的采集比較簡(jiǎn)單。

    2.4 景深計(jì)算

    虛擬場(chǎng)景的構(gòu)造允許用戶(hù)在一定范圍內(nèi)移動(dòng)。傳統(tǒng)的深度計(jì)算 方法首先使用兩個(gè)經(jīng)過(guò)校準(zhǔn)的針孔相機(jī)在不同位置捕捉同一物體的圖像。為了計(jì)算第一幅圖像中各點(diǎn)的三維位置，最好在第二幅圖像中搜索匹配點(diǎn)。人們?cè)谏疃扔?jì)算方面做了很多工作。多基線(xiàn)立體成像算法通過(guò)多幅圖像消除了噪聲的影響，優(yōu)于傳統(tǒng)的相關(guān)算法。圖像的每個(gè)特征點(diǎn)只能對(duì)應(yīng)于圖像的唯一特征點(diǎn)。由于大多數(shù)特征點(diǎn)不是很明顯，所以通常會(huì)產(chǎn)生相應(yīng)的歧義。一個(gè)點(diǎn)可以是真實(shí)的對(duì)應(yīng)點(diǎn)，另一個(gè)點(diǎn)是虛假的對(duì)應(yīng)點(diǎn)。多基線(xiàn)立體成像是消除相應(yīng)點(diǎn)模糊的有效方法。在實(shí)際應(yīng)用中，不需要計(jì)算輸入圖像序列中每個(gè)圖像的深度，通過(guò)計(jì)算一幅全景圖的深度可以得到所有場(chǎng)景點(diǎn)的深度信息。

    3、虛擬場(chǎng)景構(gòu)建實(shí)驗(yàn)

    利用銳化圖像方法突出樣本的匹配特征，在大多數(shù)情況下，可以完成全景圖像的自動(dòng)拼接，有效避免后一搜索過(guò)程陷入局部限制，拼接結(jié)果基本無(wú)縫。最小相似距離法對(duì)圖像亮度變化不敏感，具有一定的抗噪聲能力。實(shí)驗(yàn)在計(jì)算機(jī)綜合仿真環(huán)境中進(jìn)行。模擬環(huán)境是一個(gè)合成的室內(nèi)場(chǎng)景，包括放置在室內(nèi)的桌子和圓柱體等幾何對(duì)象。利

    用均勻圓軌跡圖像序列構(gòu)建虛擬場(chǎng)景的方法進(jìn)行測(cè)試，產(chǎn)生立體視覺(jué)效果，較好地實(shí)現(xiàn)了虛擬場(chǎng)景深度信息的獲取實(shí)驗(yàn)。在水平圓周?chē)�均勻拍攝視頻，以獲得所需的圖像序列。當(dāng)視點(diǎn)參數(shù)發(fā)生變化時(shí)，根據(jù)均勻圓軌跡圖像序列的原理重新繪制新視點(diǎn)的視圖。當(dāng)視點(diǎn)在預(yù)定范圍內(nèi)變化時(shí)，計(jì)算出視點(diǎn)對(duì)應(yīng)的圖像序列之間的對(duì)應(yīng)關(guān)系。當(dāng)繪制光不在采樣點(diǎn)時(shí)，將其替換為相鄰點(diǎn)。模擬環(huán)境是一個(gè)室內(nèi)場(chǎng)景，垂直深度近似可以用來(lái)減少垂直變形。假設(shè)場(chǎng)景的深度是一個(gè)常數(shù)，垂直失真會(huì)減小，圖像的寬度也會(huì)減小到不同的程度。由于視點(diǎn)的變化，相對(duì)深度發(fā)生了變化，在 垂直方向上不再獲取信息。場(chǎng)景點(diǎn)的深度實(shí)際上不是 s 常數(shù)，觀察到的變形是假定深度和設(shè)計(jì)之間的差異。

    該方法計(jì)算量小，在視場(chǎng)要求不太準(zhǔn)確的情況下，用均勻的圓軌跡圖像序列在施工現(xiàn)場(chǎng)繪制新的視點(diǎn)是一種高效的方法。利用多基線(xiàn)立體成像算法對(duì)由圖像序列構(gòu)成的虛擬場(chǎng)景進(jìn)行深度估計(jì)，首先將每個(gè)幀的相同序列拼接成全景圖像。每幅全景圖尺寸為 300×240。從 L=160列拼接全景圖中剪切320×240 圖像。將用于計(jì)算 SSSD 函數(shù)的窗口大小設(shè)置為 9x9。根據(jù)從最長(zhǎng)基線(xiàn) L=260 拼接的全景列的視差變化進(jìn)行搜索，計(jì)算相應(yīng)的深度值，計(jì)算每個(gè)基線(xiàn)的 SSD。搜索的目的是找到 SSSD 最小深度值。搜索范圍從視差d=0 開(kāi)始到全景圖中像素的方向并與參考圖像搜索中參考點(diǎn)的方向相同。用估計(jì)景深修正垂直變化效果最好，但應(yīng)以估計(jì)景深為基礎(chǔ)。如果要求場(chǎng)景和視點(diǎn)的視圖繪制是實(shí)時(shí)的，并且對(duì)圖像質(zhì)量的要求不高，則穩(wěn)定深度近似法更快。

    4、結(jié)論

    總體研究了基于圖像虛擬場(chǎng)景的構(gòu)建技術(shù)，它是基于全光函數(shù)理論的。根據(jù)奈奎斯特定律，利用空間中的光信息，以一定的方式重建連續(xù)的全光函數(shù)。當(dāng)視點(diǎn)參數(shù)發(fā)生變化時(shí)，根據(jù)視點(diǎn)參數(shù)進(jìn)行采樣。首先，討論了構(gòu)建虛擬場(chǎng)景的視覺(jué)攝影的幾何理論。然后，根據(jù)相關(guān)方法研究了全景圖像的全光函數(shù)，提出了全景圖像的垂直邊緣處理拼接算法。最后，研究了景深信息的估計(jì)方法。