- 相關(guān)推薦
基于計(jì)算機(jī)視覺的虛實(shí)場(chǎng)景合成方法研究與應(yīng)用
論文關(guān)鍵詞：虛擬現(xiàn)實(shí) 混合現(xiàn)實(shí) 視覺
論文摘要 ：開發(fā)了一種虛擬場(chǎng)景與實(shí)時(shí)視頻之間的合成技術(shù)，成功地將該技術(shù)應(yīng)用于虛擬規(guī) 劃系統(tǒng)中，詳細(xì)介紹了系統(tǒng)所采用的基于計(jì)算機(jī)視覺的標(biāo)識(shí)識(shí)別和實(shí)時(shí)、自動(dòng)攝像機(jī)位置、姿態(tài)跟蹤算法，并給出了系統(tǒng)運(yùn)行結(jié)果。
0 引 言
虛擬現(xiàn)實(shí)技術(shù) 的最終目的是使用戶完全沉浸在一個(gè) 由計(jì)算機(jī)生成的虛擬中，該技術(shù)已經(jīng)被成功地應(yīng)用到軍事、、娛樂等眾多領(lǐng)域。隨著應(yīng)用 的增多 ，虛擬現(xiàn)實(shí)技術(shù) 的缺陷也逐漸暴露出來，主要表現(xiàn)在如下兩個(gè)方面：(1)虛擬現(xiàn)實(shí) 中的場(chǎng)景完全由計(jì)算機(jī)生成，隨著繪制場(chǎng)景真實(shí)程度的提高，對(duì)系統(tǒng)硬件配置的要求也相應(yīng)提高，從而形成了繪制效果和實(shí)時(shí)性兩個(gè)同等重要又難以同時(shí)解決 的問題 。(2)交互方式受限．鼠標(biāo)、鍵盤等傳統(tǒng)輸入設(shè)備并沒有提供給用戶一種直觀 自然的交互方式，而數(shù)據(jù)手套等較為昂貴的外圍設(shè)備不僅使用起來不方便，而且對(duì)工作范圍也有一定的限制。
混合現(xiàn)實(shí) 技術(shù)的出現(xiàn)很大程度上解決了以上兩個(gè)問題，它將計(jì)算機(jī)生成的虛擬場(chǎng)景、提示信息實(shí)時(shí)疊加到用戶所能觀察到的真實(shí)世界當(dāng)中，并以此來增強(qiáng)用戶視覺感受 。在混合現(xiàn)實(shí)環(huán)境中用戶所能觀察到的主體是來源于真實(shí)世界的圖像信息，虛擬場(chǎng)景只起到輔助、提示作用，因此不需要真實(shí)感圖形繪制所需的高端的硬件配置。另一方面，由于圖像信息來源于真實(shí)世界，這就使得用戶本身能夠很自然地融合到整個(gè)系統(tǒng)中，并且能夠 以一種 自然 、直觀的方式與系統(tǒng)交互，而不必添加額外的硬件設(shè)備。正是由于以上特性，混合現(xiàn)實(shí)技術(shù)已經(jīng)被應(yīng)用到眾多領(lǐng)域當(dāng)中，而且能夠比虛擬現(xiàn)實(shí)更好地完成某些任務(wù)，如交互式規(guī)劃、動(dòng)態(tài)虛擬展示等。
一個(gè)實(shí)用的混合現(xiàn)實(shí)系統(tǒng)所必須具備的特性之一是幾何一致性，即系統(tǒng)必須實(shí)時(shí)準(zhǔn)確地判斷攝像機(jī)相對(duì)于真實(shí)世界的位置和姿態(tài)．以便將虛擬場(chǎng)景正確地疊加到真實(shí)世界的具體位置上，使得用戶從感官上認(rèn)為虛擬場(chǎng)景確實(shí)是真實(shí)世界的一部分。傳統(tǒng)的方法是利用硬件設(shè)備(電磁式、式跟蹤系統(tǒng))來獲取攝像頭位置信息，但這些方法不僅工作范圍受限，而且求得的結(jié)果也不夠精確。本文采用當(dāng)前流行的基于計(jì)算機(jī)視覺的方法來獲取位置信息，事實(shí)證明該方法是有效、可行的。
系統(tǒng)結(jié)構(gòu)及工作流程
筆者構(gòu)建 了一個(gè)如圖 1所示的混合現(xiàn)實(shí)原型系統(tǒng)，主要由如下幾個(gè)部分組成：(1)平面標(biāo)識(shí)塊：一個(gè)帶有黑色邊框的正方形．尺寸、內(nèi)部圖案由用戶定義，主要功能是使系統(tǒng)能夠根據(jù)實(shí)際圖像中標(biāo)識(shí)的變形來計(jì)算虛實(shí)配準(zhǔn)所需的位置、姿態(tài)信息，同時(shí)還可以用不同的內(nèi)部圖案代表不同的虛擬場(chǎng)景，以增強(qiáng)系統(tǒng)的實(shí)用性。(2)圖像采集設(shè)備(攝像機(jī))：主要完成實(shí)時(shí)視頻采集功能。(3)圖形渲染系統(tǒng)：生成與視頻合成所需的虛擬場(chǎng)景。(4)虛實(shí)合成：利用攝像機(jī)位置、姿態(tài)信息將視頻與虛擬場(chǎng)景相融合。(5)顯示設(shè)備 ：包括頭盔式顯示器以及桌面臺(tái)式顯示器，用以將虛實(shí)合成的影像展現(xiàn)給使用者。
系統(tǒng)運(yùn)行過程中，首先將采集到的一幀彩色圖像轉(zhuǎn)換成一幅二值(黑 白)圖像，然后對(duì)該二值圖像進(jìn)行連通域分析，找出其中所有的四邊形區(qū)域作為候選匹配區(qū)域，將每一候選區(qū)域與模板庫中的模板進(jìn)行匹配，如果產(chǎn)生匹配，則認(rèn)為找到了一個(gè)標(biāo)識(shí)，在生成與該標(biāo)識(shí)對(duì)應(yīng)的虛擬場(chǎng)景的同時(shí)利用該標(biāo)識(shí)區(qū)域的變形來計(jì)算攝像機(jī)相對(duì)于已知標(biāo)識(shí)的位置和姿態(tài)，最后根據(jù)得到的變換矩陣實(shí)現(xiàn)虛實(shí)之間的無縫融合。
2 標(biāo)識(shí)識(shí)別與攝像機(jī)位置、姿態(tài)跟蹤算法
由上一節(jié)可知，構(gòu)建該系統(tǒng)有兩個(gè)關(guān)鍵問題需要解決 ，即如何識(shí)別標(biāo)識(shí)內(nèi)部的不同圖案以生成與之對(duì)應(yīng)的虛擬場(chǎng)景 以及如何利用標(biāo)識(shí)的變形計(jì)算虛實(shí)配準(zhǔn)所需的坐標(biāo)變換關(guān)系。以下分別介紹以上兩個(gè)問題的解決方法。
2．1標(biāo)識(shí)識(shí)別
本系統(tǒng) 所采用的標(biāo)識(shí)識(shí)別方法可 以分為以下幾步。
2．1．1圖像二值化
首先對(duì)采集到的彩色圖像進(jìn)行二值化，處理成黑白(0，1)圖像，如圖 2(b)。具體方法為：設(shè)定一個(gè) 閾值，對(duì)圖像進(jìn)行遍歷 ，根據(jù)該閾值，對(duì)圖像重新賦值。為了克服光照對(duì)識(shí)別結(jié)果造成的影響，同時(shí)采用 了自適應(yīng)閾值法 來提高系統(tǒng)穩(wěn)定性，設(shè)定當(dāng)前 閾值 為上一幀圖像中標(biāo)識(shí)投影區(qū)域像素灰度的平均值，實(shí)驗(yàn)證明該方法對(duì)改善系統(tǒng)性能有較為明顯的效果。
2．1．2連通域分析
連通域分析的 目的是從復(fù)雜背景中提取標(biāo)識(shí)的投影區(qū)域。分析過程為：查找所有像素值為 1的連通區(qū)域，首先根據(jù)大小約束對(duì)區(qū)域進(jìn)行預(yù)篩選，然后利用最小二乘直線擬合法篩選出所有四邊形區(qū)域 ，結(jié)果見圖 2(c)。
2．1．3 區(qū)域規(guī)則化與模板匹配
區(qū)域規(guī)則化是將圖像中經(jīng)過投影變換的標(biāo)識(shí)區(qū)域變換到標(biāo)準(zhǔn)模板空間，本文利用仿射變換 將標(biāo)識(shí)經(jīng)過投影變形后 的區(qū)域直接映射到一個(gè) 64×64大小的正方形模板，效果見圖2(d)。接下來的工作是將規(guī)則化圖像與模板庫中的模板進(jìn)行匹配，以返回代表不同虛擬場(chǎng)景的 ID值。本文采用相關(guān)系數(shù)法來完成匹配工作，方法如下：
首先利用以下四式計(jì)算規(guī)則化圖像 I和標(biāo)準(zhǔn)模板圖像 P各自的均值和方差。
然后計(jì)算兩幅圖像的相關(guān)系數(shù) p，本文選擇所有模板中與規(guī)則化圖像具有最大相關(guān)系數(shù) p且 p>0．5的模板作為當(dāng)前匹配結(jié)果，并返回與之對(duì)應(yīng)的 ID值
2．2攝像機(jī)位置、姿態(tài)估計(jì)
首先給出系統(tǒng)的坐標(biāo)變換關(guān)系如圖 3所示。規(guī)定平面標(biāo)識(shí)在世界坐標(biāo)系中的位置為已知，攝像機(jī)位置、姿態(tài)計(jì)算問題轉(zhuǎn)化為攝像機(jī)坐標(biāo)系與世界坐標(biāo)系之間三維變換矩陣的求解。
世界坐標(biāo) 系與攝像機(jī)坐標(biāo)系間的變換關(guān)系可以用式(5)表示。其中 W為世界坐標(biāo)系下某點(diǎn)坐標(biāo)，C為該點(diǎn)在攝像機(jī)坐標(biāo)系中的位置，T ：[R R R：T] 為待求三維變換矩陣，包含三個(gè)旋轉(zhuǎn)分量和一個(gè)平移分量。
C=T W (5)
由于規(guī)定平面標(biāo)識(shí)與世界坐標(biāo)系下的Z：0平面重合 ，則由式 (5)可得 ，平面標(biāo)識(shí)上的某點(diǎn)在世界坐標(biāo)系下的坐標(biāo) Wi=(X ，Y wi，0，1) 與其在攝像機(jī)坐標(biāo)系下坐標(biāo) C；：(X Y z i，1) 之間的關(guān)系可以表示為式(6)。
有 8個(gè)待定系數(shù)，由標(biāo)識(shí)的 四個(gè)角點(diǎn)可得 如下 方程組 ，則完全可以求取以上 8個(gè)未知數(shù)。
通過上述計(jì)算可以確定變換矩陣中的 R ，R ，T，三個(gè)分量，由變換矩陣旋轉(zhuǎn)分量的正交性可以求得R ：R ×R ，最后需要對(duì)所求得的結(jié)果作歸一化操作以消除比例因子 t 對(duì)計(jì)算結(jié)果的影響，方法是將(1 R l+l R 1)／2去除以上各分量。
事實(shí)上由于不可能完全避免成像畸變以及圖像處理過程中的誤差，上述方法求得的變換矩陣 T 是不夠精確的。解決方法是利用上述方法求取第一幀圖像對(duì)應(yīng)的 T ，在后續(xù)計(jì)算過程中采用非線性最小二乘法求取后續(xù)幀的對(duì)應(yīng)的變換矩陣。誤差逼近計(jì)算公式見式 (1 1)。
式中(文 i)(i=0，1，2，3)為根據(jù)上一幀T 求得的標(biāo)識(shí)四個(gè)角點(diǎn)在像平面坐標(biāo)系下的位置，(X i，Y ；)(i=0，1，2，3)為實(shí)時(shí)檢測(cè)到的標(biāo)識(shí)角點(diǎn)在圖像中的位置。本 文利用勒溫伯格一馬闊特方法求解式(11)。
3 應(yīng)用實(shí)例——基于混合現(xiàn)實(shí)的小區(qū)規(guī)劃系統(tǒng)
傳統(tǒng)的住宅小區(qū)規(guī)劃方法之一是制作規(guī)劃方案模型，但是制作實(shí)體模型不僅費(fèi)時(shí)費(fèi)力，而且修改起來也極為不便。近年來，基于虛擬現(xiàn)實(shí)技術(shù)的小區(qū)規(guī)劃方法已經(jīng)逐漸為設(shè)計(jì)者所接受，它一定程度上解決了實(shí)體模型規(guī)劃方法的缺點(diǎn)，但是由于缺乏高效、自然的人機(jī)交互方式，使得規(guī)劃效果大打折扣�；旌犀F(xiàn)實(shí)技術(shù)的出現(xiàn)為小區(qū)規(guī)劃提供了新的契機(jī)，它既繼承了虛擬現(xiàn)實(shí)技術(shù)卓越的三維表現(xiàn)能力，又具有虛實(shí)結(jié)合的特點(diǎn)，能夠在真實(shí)的規(guī)劃場(chǎng)景中整合設(shè)計(jì)要素，給設(shè)計(jì)者和方案評(píng)估者以直觀的感受。
筆者利用本文方法開發(fā)了一套基于混合現(xiàn)實(shí)技術(shù)的虛擬小區(qū)規(guī)劃系統(tǒng)。系統(tǒng)中不同的標(biāo)識(shí)對(duì)應(yīng)不同的虛擬模型，用戶可以在視線范圍內(nèi)隨意移動(dòng)模型．從而實(shí)現(xiàn)不 同的規(guī)劃 方案 。運(yùn)行效果 如圖4該系統(tǒng)滿足了小區(qū)規(guī)劃對(duì)虛實(shí)交互、人機(jī)交互的要求，充分體現(xiàn)出混合現(xiàn)實(shí)技術(shù)在小區(qū)規(guī)劃應(yīng)用中的優(yōu)勢(shì)。
4 結(jié)束語
本文設(shè)計(jì) 了一種基于視覺的虛實(shí)場(chǎng)景合成方法，具有實(shí)時(shí)性好、可用性高等特點(diǎn)，當(dāng)前系統(tǒng)中存在的主要問題是虛擬場(chǎng)景與真實(shí)場(chǎng)景之間還沒有遮擋和碰撞關(guān)系 ，從 而影響 了系統(tǒng) 的真實(shí)感 ，下一步的工作是對(duì)虛實(shí)之問的遮擋和碰撞檢測(cè)問題展開研究。
【基于計(jì)算機(jī)視覺的虛實(shí)場(chǎng)景合成方法研究與應(yīng)用】相關(guān)文章：
基于BP網(wǎng)遙感影像分類研究與應(yīng)用08-10
基于戰(zhàn)略治理的企業(yè)環(huán)境風(fēng)險(xiǎn)研究08-28
計(jì)算機(jī)應(yīng)用技術(shù)在信息管理中的應(yīng)用研究論文（精選6篇）09-20
基于軍網(wǎng)的雷達(dá)遠(yuǎn)程診斷技術(shù)研究08-10
基于web的異地并行設(shè)計(jì)與制造系統(tǒng)研究06-02
多孔金屬材料的制備方法及應(yīng)用研究論文（通用6篇）05-25
基于MOSFET內(nèi)阻的電流采樣及相電流重構(gòu)方法10-30