基于視覺伺服的小型四旋翼無人機自主飛行控制研究進展
2017-6-16 來源：裝甲兵工程學院控制工程系 作者：呂強，馬建業，王國勝，林輝燦，梁冰
摘要：在GPS信號較弱甚至失效的環境下，視覺伺服能夠通過視覺信息控制自主飛行，因此近年來視覺伺服在自主飛行控制領域受到廣泛關注。根據獲取的圖像信息不同，可將視覺伺服分為基于位置的視覺伺服和基于圖像的視覺伺服。與基于圖像的視覺伺服相比，基于位置的視覺伺服位姿估計穩定，可直觀地在直角坐標空間定義機器人運動，符合機器人工作方式，且控制器設計簡單，但控制精度受攝像機和機器人標定精度的影響，且計算量較大。對于小型四旋翼無人機自主飛行控制的應用研究中，視覺伺服的實時性、精確性和魯棒性尚待提高，且小型四旋翼無人機的智能化不高，在室內室外模式轉換及室內協同控制方面還有廣闊的發展空間。
關鍵詞 視覺伺服；自主飛行控制；小型四旋翼無人機
無人機正快速成為一種無處不在的現代工具，它在搜索、救援、監視、航拍、遠程遙感等領域已得到廣泛應用[1-5]，更被應用于電線檢修[6]和農業感知[7]等特殊領域。與有人駕駛的飛行器和固定翼無人機相比，小型四旋翼無人機由于體型小、可垂直起降、機動靈敏等特點，使針對狹窄空間的搜索成為可能，并且在室內進行飛行測試更加方便；此外其以電池替代燃料驅動，即使發生碰撞也不會對人類造成嚴重威脅，安全性得到大幅提升。近年來，小型四旋翼無人機因體型小、造價低、易操作、易維護和適用于嚴峻環境等特點，已逐步成為無人機研究的熱點。目前，室外自主飛行器普遍采用 GPS 系統實現定位，然而 GPS 信號強弱問題大大影響定位精度，尤其是在室內、森林、洞穴以及建筑物繁多的城市等GPS較弱甚至失效的環境中，需要一個可靠的方法來控制飛行器自主飛行[8]，因此視覺伺服受到了研究人員的青睞。在機載處理信息的情況下，視覺伺服可以被應用到獨立且GPS失效的環境中，視覺伺服通過攝像頭獲取視覺信息控制飛行器運動，攝像頭不僅具有輕便、低損耗等特性，而且能夠提供位置及速度信息的高分辨率數據；另外，GPS的精確度只能達到米級，而視覺算法在室內小環境下能將目標定位上升到厘米級精度[9-10]，這也使得旋翼型無人機能夠執行更精準的任務。視覺伺服已經被廣泛應用到了避障、測距、懸停以及同時定位與地圖構建（SLAM）等任務中[11-15]。
1.視覺伺服
視覺伺服指的是利用計算機視覺信息控制機器人的運動，依賴于圖像處理、計算機視覺和控制理論等技術。所有基于視覺伺服的方案，目的都是減小誤差e(t)[16]。誤差e(t)可表示為
上述為大多數視覺伺服的基本概念[16]。對于視覺伺服的分類，可以理解為不同的視覺伺服方法從圖像中獲取的信息不同[16]。事實上，在PBVS中，視覺傳感器被認為是三維傳感器，因為其利用視覺算法構建三維空間，獲取深度信息，進而實現位置估計。但是控制定律是在笛卡兒空間中定義的，這使得攝像頭在笛卡兒空間能夠跟蹤最優軌跡，而在圖像空間則不能跟蹤最優軌跡，所以當僅有一張圖像時，即使在圖像測量中很小的錯誤都會導致位姿出現誤差，這嚴重地影響了系統的準確性。在多旋翼飛行器應用中PBVS的基本結構如圖1所示。
另一方面，在IBVS中，視覺傳感器被認為是二維傳感器，因為其直接從圖像空間中提取特征，當采用單目攝像頭時，這顯得更加逼真，而且使得IBVS對于校準和圖像噪音引起的誤差表現出顯著的魯棒性。然而IBVS并不是沒有缺點，當移位過大，攝像頭會達到局部最小值或跳過交互矩陣的奇點，從而不可預知攝像頭的運動。在多旋翼飛行器應用中 IBVS的基本結構如圖2所示。
2.視覺伺服在自主飛行控制中的應用
視覺伺服在小型四旋翼無人機自主飛行控制方面得到了廣泛研究，主要是 PBVS 和 IBVS，雖然取得了一定成果，但是兩種視覺伺服方案都存在各自的缺點，還有很大的研究和發展空間。下面從PBVS和IBVS兩方面闡述近5年來視覺伺服在小型四旋翼自主飛行控制方面的主要研究進展。 PBVS和IBVS的主要優缺點如表1所示。
表1 PBVS及IBVS的特點
2.1 基于位置的視覺伺服
2011年，Li等[17]設計了一種多機器人地空系統，采用Asc Tec四旋翼機載處理視覺信息，通過單目攝像頭、慣性測量單元（IMU）、飛行計算機等機載資源和多傳感器融合（MSF）、光流、紅外標記等方法，獲得了精準的位姿估計和運動估計。為了實現四旋翼在地面機器人上平穩起飛、穩定跟蹤和安全降落，設計了相應的滑模控制器；還設計了數據同步和時間延遲補償，以提高系統性能。利用標記物輔助四旋翼進行位置估計的研究很多，Carrillo 等[18]采用標記物方法進行位置估計，提出一種基于視覺的位置控制方法，提高了四旋翼無人機飛行的自主性。計算機視覺方法主要包括降落標記點檢測算法與跟蹤算法，通過已校準的機載單目攝像頭估計四旋翼相對于降落板的位置和線性速度，其中線性速度是通過光流法估計的。為了體現視覺算法的性能，采用基于 PD 控制器的簡易控制策略控制高度和偏航角，采用基本的全狀態反饋控制器控制俯仰和橫滾角。除此之外，Romero等[19]也采用特殊標記物輔助計算機視覺來解決四旋翼的穩定性和局部定位問題。將 IMU 獲得的姿態數據和單個攝像頭組成的視覺系統獲得的視覺數據進行融合，用來估計四旋翼的方向和位置。視覺系統估計四旋翼的位置、偏航角和平移速度的同時，IMU以更高的速率控制俯仰和橫滾角。其中用于位置估計的技術結合了用于相機標定的齊次變換法和用于位置估計的平面位姿法，而且基于光流法的導航系統被用來估計四旋翼的平移速度。
雖然利用標記物容易實現位置估計，但其具有局限性，例如LED紅外標記容易受到光線影響，在強光照環境下基本不能應用；標記物只能借助地面機器人才能移動，而且在不平坦路面影響巨大；標記物易與周圍環境混淆且易被外界環境損壞等。
視覺里程計[20-21]和視覺SLAM[22-23]在未知環境中進行定位及位姿估計，盡管與控制沒有直接關系，但也是基于視覺信表1 PBVS及IBVS的特點Table 1 Advantages and disadvantages of PBVS and IBVS特點優點缺點PBVS可以直觀地在直角坐標空間定義目標的運動，符合現有機器人的工作方式控制精度很大程度上依賴于位姿估計精度，而位姿估計精度依賴于攝像機和機器人的標定精度等；此外計算量較大IBVS無需三維空間定位、對攝像機和機器人標定不敏感；計算量較小伺服控制器復雜且缺乏適應性；需要額外的傳感器獲取深度信息；移位過大會導致不可預知攝像頭運動圖1 PBVS的基本結構Fig. 1 Basic structureof PBVS圖2 IBVS的基本結構Fig. 2 Basic structure of IBVS69息的，并將獲取的位姿估計作為控制器的輸入來控制其輸出，以控制并穩定四旋翼飛行，所以歸類于PBVS。Blosh 等[24]第一個提出將視覺 SLAM 用于四旋翼，然而只是通過 USB 線傳輸圖像實現地面站數據處理。這一工作基于 Asc Tec 公司的 Hummingbird 四旋翼平臺進行研究，通過視覺SLAM算法跟蹤攝像頭位姿，同時構建周圍環境地圖，以位姿估計為基礎，設計了 LQG/LTR 控制器來穩定四旋翼，使四旋翼能夠實現起降、懸停和設置點跟蹤。實驗數據表明，四旋翼懸停時位置均方值誤差在5 cm以內，而且可以按照緊湊的設置點飛行。隨后 Achtelik 等[25]對其進行改進，通過采用同樣來自 Asc Tec 公司的機載計算機實現了機載數據處理。為解決視覺相對于四旋翼高靈敏性更新頻率低的問題，將視覺數據與IMU數據進行融合，同時添加壓力傳感器來估計視覺位姿測量的絕對尺度。這個系統第一個將機器人操作系統（ROS）[26]準則用于機器人控制，并且第一個將通用計算機用于機載計算機視覺。
Park等[27]提出一種用于小型四旋翼無人機的基于視覺的SLAM 系統。采用基于 Kanade-Lucas-Tomasi 的定位與跟蹤方法進行實時定位，同時采用地面站處理方法進行基于特征轉換尺度不變的地圖構建和更精確的定位。他們也提出一種基于單目視覺的三維地圖構建方法，這個方法首先從圖像中提取直線信息并且在三維空間進行方程式計算，然后通過線信息構建平面信息。
Faessier等[28]設計了一種基于視覺的四旋翼無人機，不僅可以按指定路徑自主飛行，而且能夠獲取實況的稠密的三維地圖。他們運用半直接視覺里程計（SVO）算法估計飛行器運動，同時對探索到的環境進行地圖擴展。為增強四旋翼的穩定性并提高地圖精度，采用MSF算法將通過SVO算法獲得的視覺信息與從飛控板 Pixhawk 獲得的 IMU 信息融合，然后通過級聯控制器控制四旋翼穩定飛行，級聯控制器包括運行在Odroid上的高級控制器（位置控制器和姿態控制器）和運行在飛控板Pixhawk上的低級控制器（速度控制器）。
Huang 等[29]設計了一種基于單目視覺的自主導航系統，應用于 Parrot AR.Drone 飛行器。該系統將通過無線攝像頭獲取的視頻流傳輸給地面站計算機，在地面站上運行視覺SLAM算法處理數據進行位姿估計。為解決收到的視頻中運動模糊和幀丟失問題，改進了視覺 SLAM 算法中的特征跟蹤方法和重新定位模塊，增強了魯棒性。同時為獲得更精準的三維位置與速度，融合了視覺 SLAM 和機載傳感器獲取的數據，并且設計了一種擴展卡爾曼濾波器用于傳感器數據融合，矯正了局部漂移誤差并且解決了比例模糊問題。
目前 PBVS 方法得到了廣泛的研究，尤其是視覺 SLAM，近幾年提出了很多 SLAM 算法，主要包括 RGBD-SLAM[30]、LSD-SLAM[31]和 ORB-SLAM[32]等。雖然視覺 SLAM 算法發展迅速，但現階段僅依靠視覺數據不足以穩定控制四旋翼，還需要融合其他傳感器數據，主要是由于視覺 SLAM 在特征不明顯的環境中魯棒性不強，且運算量大，對所需處理器性能要求高，而目前機載處理器的性能一般，運動過快會導致檢測不到特征點，從而丟失位置。
2.2 基于圖像的視覺伺服
Bills等[33]采用Parrot AR.Drone四旋翼飛行器自帶的朝前和朝下的攝像頭在未知的走廊、樓梯和周圍角落環境下實現視覺導航。采用分類算法選擇環境類型，然后通過視覺算法估計飛行方向。通過實驗證明了這種視覺算法的穩定性，但是所有的處理都是在地面站完成的，圖像和控制命令通過Wi Fi 傳輸，而且四周距離和高度通過聲納探測得到，所以該視覺算法的作用只是對環境的選擇和對飛行方向的判定。
IBVS在無人機垂直起降問題上得到了廣泛研究。Henry等[34]提出一種基于視覺伺服和速率陀螺儀測量的穩定反饋定律，用于無人飛行器的垂直起降飛行控制。通過視覺對平面目標進行測量，給定目標與飛行器參考位姿的距離，只需此距離高于下限，不需要目標任何幾何信息，穩定反饋定律就能成立，并且可以應用到未知環境中無人飛行器的控制。此外其采用增益調諧策略，使得在大范圍操作下表現良好。針對垂直起降這一問題，Lee等[35]提出一種基于視覺控制的無人機垂直起降算法，采用IBVS在二維圖像空間跟蹤平臺，并且生成速度指令，作為自適應滑膜控制器的輸入。與其他基于視覺的算法相比，重構一個完整的三維表示的目標需要精準的深度估計，而IBVS由于對深度估計不敏感，允許通過快速的方法來獲得深度估計，為提高滑膜控制器的跟蹤速度，要對地面效應做自適應補償，最終通過IBVS算法與自適應滑膜控制器的集成實現跟蹤和降落。但是該方法不是機載處理數據，而是通過無線與地面站計算機連接傳輸數據和發送命令，因此延遲問題突出。Podhradsky[36]在硬件上設計了一種新穎的自動駕駛儀，應用于 IBVS，并且在降落方案中運用了光流算法，由于光流算法直接從二維圖像中提取信息，因此屬于IBVS。通過實驗發現光流算法在高度小于1 m時，計算準確，能夠定位到延伸焦點；但當高度大于1 m時，光流算法就變得模糊不清并且出現錯誤，主要原因是高度增加很難追蹤到像素的運動。由于分數階增強在邊緣檢測算法中的應用能夠提高目標檢測的精度，因此下一步研究中可以把分數階微積分用到光流中，以降低光流計算的誤差。不同于固定位置降落，Lippiello 等[37]對于垂直起降無人機在驅動降落平臺上的協同降落問題，提出一種IBVS控制方法。協同降落采用無人機的機載攝像頭和IMU數據，以及采用移動機械手的里程計數據，并且將系統任務層呈現的冗余、移動機械手固有的冗余和無人機的欠驅動都明確地編址到所提出的控制方法中。當無人機離降落平臺較遠時，會出現大幅度運動，這時機械臂的靈活性就得到了應用，以確保實現安全且精確的銜接。通過模擬大量實驗案例，證明了該方法的有效性，但是該方法還只是停留在仿真階段，運用到實際中可能由于環境等影響會出現新的問題。
在跟蹤問題上，IBVS也有涉獵。Singh等[38]提出一種圖像檢測與跟蹤算法。這種算法致力于采用機載攝像頭從實時流視頻中檢測移動或靜止的物體，采用基于Viola-jones 算法和斑點分析的IBVS，其中IBVS 用來定位，Viola-jones 算法及均值漂移跟蹤用來檢測物體。這項研究主要是為了探究視覺伺服技術在無人機應用中的潛力。在實際應用上，Sa等[39]采用IBVS 和部分自主技術設計了一種基于垂直起降平臺的相對桿狀物導航系統。該研究的目的是對垂直建筑物進行空中檢測（例如電線桿），相對桿狀物導航提高了系統的自主性并且為部分自主提供了便利，只需設置高度及偏航速率，系統可自調整四旋翼與桿狀建筑物的距離、距地高度和攝像頭的姿態。IBVS 僅被用來跟蹤兩條垂直線（桿狀建筑物邊緣），以穩定四旋翼相對桿狀建筑物的姿態。通過基于精準地面真實數據的室內外測試評估，證明此系統能夠使四旋翼相對桿狀建筑物懸停并環繞航行，誤差在20 cm內，使用者可以輕易執行此任務。同樣在跟蹤線性結構方面，Araar等[40]為了達到對線性結構基礎設施的視覺跟蹤目的，提出并比較了兩種基于霍夫參數的控制方案，第一種方案是 PPBVS（基于部分位姿的視覺伺服）方案，與 PBVS 有相同的優點，且不需要完整的 3D 位姿估計；第二種方案是基于最優線性二次控制（LQR）算法的IBVS方案。通過仿真對兩種方案進行比較，結果表明PPBVS方案在快速性方面表現更加優秀，這主要是由于Hough參數與三維姿態之間存在線性假設關系，而在IBVS 方案中，尤其在過渡階段沒有這一關系。此外，PPBVS 控制器設計也比IBVS簡單，因為它只需要利用在笛卡兒三維空間下設計的位置控制器。不僅如此，而且PPBVS方案中高度和橫向位置控制器的設計獨立于彼此，這使得其相對于IBVS方案更容易調諧。與 PBVS 算法相比，
IBVS 算法計算簡單且高度估計不易受影響，但需要采用距離傳感器，控制器設計難度也較大。隨著算法的不斷改進和處理器計算性能的不斷提高，PBVS算法相對于IBVS 算法在位姿估計和控制器設計方面表現出了優勢，受到研究人員的青睞。
3.發展趨勢
隨著電子科學技術和計算機視覺技術的快速發展，電子元器件、處理器不斷小型化、高性能化，視覺算法研究不斷取得突破，視覺伺服在小型多旋翼無人機自主飛行控制中的研究已成為一個前沿高端的熱門領域，雖然目前已取得一些進展，但是對于小型多旋翼無人機自主飛行控制的應用還遠遠不夠，只是簡單實現了特征明顯環境下的自主起降、懸停和按設置點飛行，未來的發展必將圍繞著增強視覺算法的實時性、精確性和魯棒性展開，并且實現自主飛行的智能化，例如室內室外模式選擇、室內協同控制等。
1）視覺算法的魯棒性。目前視覺算法只能夠在特征較為明顯的環境下實現實時定位，滿足自主飛行。若攝像頭運動過快且特征不是特別明顯，則會發生特征點跟蹤失敗從而丟失位置的現象。雖然 MSF 方法增強了自主飛行控制的魯棒性，但是沒有從根本上解決問題，所以只有從根本上增強視覺算法的魯棒性，才能夠實現在任何環境下的自主飛行。
2）室內室外模式轉換。目前對于無人機自主飛行控制的研究不是完全針對室內環境的就是完全針對室外環境下的，而從室外自主飛行轉換到室內自主飛行的研究鮮少。室外可采用 GPS 定位，室內采用視覺定位，當 GPS 信號低于一定值時轉換為視覺定位，高于一定值時再轉換為 GPS 定位，此方向的研究有利于對一些室內等 GPS 信號失效的環境進行遠程探索、偵察和搜救等。
3）室內協同控制。目前對于地面機器人協同控制和基于外部視覺系統的多無人機協同控制研究較多，而基于機載視覺的多無人機室內協同控制研究鮮少。基于機載視覺的多無人機室內協同控制不需要采用外部輔助系統，不僅節省資源，而且可以在未知環境下應用，相對于地面機器人，無人機具有更強的機動性和靈活性，且有更好的視角。多無人機室內協同控制可同時控制多架無人機對復雜環境進行分塊搜索、偵察和構圖等，這一功能不僅大大提高任務效率，而且增強其可靠性。
4.結論
在小型多旋翼無人機自主飛行控制中，視覺伺服已成為一個前沿高端的熱門研究領域，在未來的各個領域中，無論是軍事領域還是民用領域，視覺伺服必將發揮重要作用，推動各個領域的發展。雖然現在對視覺伺服在小型多旋翼無人機自主飛行控制中的研究還不夠成熟，依然存在機載處理數據運算能力有限、視覺算法不夠成熟以及應用環境有限等問題，但是已經有越來越多的研究者投入到了這個領域，這些問題將會迎刃而解，使視覺伺服應用到小型多旋翼無人機自主飛行控制中的各個領域。
投稿箱：
如果您有機床行業、企業相關新聞稿件發表，或進行資訊合作，歡迎聯系本網編輯部， 郵箱：skjcsc@vip.sina.com
如果您有機床行業、企業相關新聞稿件發表，或進行資訊合作，歡迎聯系本網編輯部， 郵箱：skjcsc@vip.sina.com
更多相關信息
