希望投稿雑誌： Advanced Robotics 日本ロボット学会が出している欧文誌です。
An Autonomous Contorol of A Small Flying Object Using Hadware Implemented
Vision Processing
Hitoshi Yamada, Takashi Tominaga, Takashi Kurashina and Michinori Ichikawa
Abstract
４つのCMOSカメラからの視覚情報だけを用いて４つのプロペラの出力を制御することで、小型飛行物体の飛行を安定させる試みを行った。機体の制御は、FPGAで行い、また視覚情報もFPGAを用いた高速画像処理により、マスクオプティカルフローを実現し、開口問題とS/N比を改善した。これらにより飛行物体の姿勢を視覚情報のみで安定させることができることを実証した。
イントロ
この論文の目的は、飛行物体の究極の小型化のための画像処理装置の開発と評価
ロボットの小型化で、最後まで残る機能は、目。
飛行ロボットでは、軽量化が最大の課題。それゆえ、この目に頼らざるを得ない時代が必ずくる。
ロボットナビゲーションで、現在実用になっているのは、
１．アクティブデバイス
２．GPS、GIS
３．初期値積算型
小型ロボットに搭載するには、どれも将来限界が見える。
１．レーザー、レーダー、超音波を発生するには、大量のエネルギーが必要。ロボットが増えた状態では、お互いの干渉の問題もある。
２．移動空間が、低高度、建物の中になると、GPSの電波は届かない。未知の領域を探索するには、GISのような環境もありえない。
３．船舶や、航空機で古くから実用化がされてきた方式であるが、長時間の移動に必要なだけ高精度な加速度検出装置を搭載することは難しい。
そこで、将来は、必ず、画像処理をもとにした、真の意味で自立的なロボットナビゲーションが必要になる。われわれ人間も主に視覚に頼って行動を行なっている。
画像をナビゲーションに使うということは、最終的にカメラ位置・カメラ姿勢・カメラと周辺環境の距離分布（環境）の推定を行なうという問題に帰着する。
画像処理に特化して進化してきた生物として、われわれは飛行する昆虫をヒントにすることを試みた。
ハエにたいする研究は古くから行なわれているが、ハエは、複眼を持ち、広視野かつ、動いている物体に対する応答がすばらしい。しかも、全部の処理をわずか数グラムの固体内でこなしている。この秘密はどこにあるのだろうか。
われわれは、ハエの持つ画像処理系の特徴である、広視野角・動き解析・視覚の応答性の速さを、専用のLSIに作りこむことで、再現を試みた。ハエの視覚処理は完全に把握できているわけではないので、忠実な再現ではないかもしれないが、この再現の過程で、光学的流動をロボット制御に利用する際には避けて通れない開口問題をある程度解決するための論理を実装した。
画像処理
ロボットを画像処理のみによってナビゲートする問題は、最終的にカメラ位置・カメラ姿勢・カメラと周囲の物体の距離分布（環境）を推定する問題に帰着する。
これらの推定問題を、解析的に正確に解こうとする試みも行なわれているが、その計算量の多さと、完全に任意の状態での解が存在するかどうかという問題もあり、実用化にはいたっていない。特に、飛行物体を制御する場合には、十分に短い時間で計算が完了するように工夫する必要がある。そこでわれわれは、専用の画像処理LSIを実装することにした。あわせて、広視野角を利用することで、計算結果の信頼性を向上させる戦略をとることにした。広視野角を実現するために視野角？？度（水平方向）のCMOSカメラを4つ実装した。この4つのカメラから得られる画像を高速に処理する必要性からも、専用のLSIを開発する必要があった。
LSI上で実現できる画像処理には、様々なものがあるが、本論文では、オプティカルフローに焦点をあてて制御を行なった。水平に配置した3つのカメラからオプティカルフローベクトルを計算し、機体の姿勢制御を行なった。カメラと周囲の物体との距離は一定の範囲にあるという仮定の下に制御を行なった。フローベクトルから求めるべき変数は、機体のロール、ピッチ、ヨーそれぞれの時間微分量である。各カメラの9個の領域に分割してオプティカルフローベクトルを計算し、個々の領域のフローベクトルと機体中心に対して対向するベクトル量の平均値をもとめることで導出した。この際、ノイズが多いと判断できる領域は、計算から除くことにして、近隣の領域の値を補完するすることにした。また、図に示すように、視野角は後方を除いた配置になっているが、対向のベクトル量を求めるためには、後方の視野角も必要である。しかし、実際に実験を開始する際に、機体を人の手によって支える必要があり、かつ、飛行中の実験者の居場所を確保する意味であえて後方の視界を確保することはしなかった。
オプティカルフローで得られる情報は、機体の姿勢の微分量である。したがって、これだけでは制御は行なえない。後述するようにPID制御を基本に行なうが、D成分のパラメータとして使用する。P成分とI成分は、4つ目のカメラから得られた情報をもとに計算を行なった。
4つ目のカメラは上方に設置し、既知の二つのターゲットを追跡するために使用した。実際には、天井に吊り下げられた間隔と距離が既知のライトの重心点を計算してオプティカルフローの定義は、二つの異なる時間に撮影された画像同士を比べることで、画像の移動ベクトルを求める。通常、画像ｆ（ｘ、ｙ）が一定時間後にｇ（x、y）に変化したとするとオプティカルフローベクトル（u,v）は、
M＝Σ｜ｆ（ｘ、ｙ）-g(x+u,y+v)｜
を最小にする値を求めることで算出できる。一見して明らかなように、オプティカルフローベクトルは、画像中の物体によらず計算可能であり、既知の画像パターン等を知る必要がない。それゆえ、探索したことのない、新たな現場において飛行物体を制御できる可能性をもっている。
ライトの重心点を探索する際
領域が重ならないように探索範囲に優先度をつける工夫を行なった。
また、レンズの色成分、輝度成分に対する周辺ひずみに対応するため、一つ前のフレームの重心付近の輝度、色相を追従しながら、輝度・色相による抜き出しのための閾値を決めることにした。
以下参考文章
Intoroduction
ロボット自らが獲得する画像情報だけで、ロボットが自律的に行動することは可能だろうか。この命題に答えることは、ロボットの自律制御の発展に大きく貢献することになるだろう。現段階で、ロボット自身の位置特定の手段として、実用化されているシステムは以下の3つに集約される。
１．GPSその他の外部誘導装置を使用したもの
２．レーザー、レーダー、超音波等のアクティブデバイスを用いたもの
３．初期値とマップをもっていて、自ら行動軌跡を時々刻々エンコードして現在位置を割り出すもの
どれも生物が用いている戦略とは異なってはいるが、生物にはない正確さを持っている。一方、視覚（画像）情報を元に自らの位置を特定しようとする試みは、様々な環境に柔軟に適応できる可能性を秘めている。
本論文では、ハエやトンボなど昆虫の複眼の視覚処理にヒントにした飛行ロボットの開発を試みた。複眼を持つ昆虫は、動きに対する情報処理を効率的に行って飛行していることが知られている。この情報処理の特徴を工学的に模擬しようとする試みのひとつが、光学的流動（オプティカルフロー）である。オプティカルフローは、異なる時間に撮影された画像を比べることで、画像の動きの大きさ、方向を特定する方法である。この動きベクトルをもとに、周囲の環境または自らの姿勢を推定しようとする試みである。このオプティカルフローベクトルを正確に求めることで、周囲の環境とカメラ位置・姿勢を逆計算で解析的に求める試みは行なわれているが、容易ではない。しかしながら、
が正確にもとまった場合でも、解析的に確かな環境推定
には、光学的流動（オプティカルフロー）という概念と類似性を見つけることができる。
本論文では、光学的流動（オプティカルフロー）を利用したロボットナビゲーションに焦点を当てて実験を行った。オプティカルフローを
Visual Processing
新規性：
画像情報情報だけで自律制御している飛行ロボットってないのじゃないかと。
しかも、オプティカルフローを使っているのは、さらにないのでは。
調べてません…。
画像情報だけで、飛行物体を制御する意義：
少し危ない方向なんですが、
「高高度を飛行するUAVには、GPSやレーダー、ジャイロ等の航空情報獲得システムが搭載されている。しかし、翼幅の小さい飛行物体（数センチから大きくても数十センチ）にこれらのシステムすべてを搭載することは不可能。将来、より小型の飛行物体を作るときに、最後まで残る機能は目である。目だけで飛行物体の自律飛行を完成させることは意義がある」
というものです。 これって、アメリカの軍事関係に受けている（評判のよい）文言なので、どうなんだろうと、いつも迷うところです。
飛行物体に限らず、ロボットを画像情報だけで制御する意義：
今のロボットのナビゲーションは、
１．GPSその他の外部誘導装置を使用したもの
２．レーザー、レーダー、超音波等のアクティブデバイスを用いたもの
３．初期値とマップをもっていて、自ら行動軌跡を時々刻々エンコードして現在位置を割り出すもの
４．視覚（画像）情報を利用して、現在位置を割り出すもの
という方式が考えられ、実用化されているのですが、1から3までは、そこそこ実用化されていて技術も熟成しています。
でも、4を利用した装置は、いまだに実用レベルのものが存在しません。
一長一短ありますが、4は、正確性には欠けますが、非常に柔軟に環境に適応する可能性を持っています。
4は、生物が環境を把握するために選択している方法そのものです。
そこで、ヒントは生物に求める。視覚情報がとても大切であって、それでいて単純なもの。それがハエなわけです。
ハエの目にヒントを得た画像処理だけで、果たして飛行は可能なのか。それを試したかったのです。
さらには、ハエの目の情報処理は、飛行ロボット以外にも転用可能かどうか、検討したいのです。
結論
○飛行ロボットの制御に必要なのは、機体の姿勢制御と重心の制御の両方が必要。
○今回の実験では、機体の姿勢制御にハエの目の工学的解釈である光学的流動を用いた制御を利用。重心制御には、従来の工学的手法にもとづいた画像処理を採用。
自律的に飛行制御を行えることを確認した。
○ただし、光学的流動を利用する際には、開口問題といわれる課題を何らかの方法で解決することが必要であった。今回は、画像のエッジの局所的な方向と光学的流動によって得られる速度ベクトルを組み合わせて利用することで、問題の解決を試みた。
ハエの目の面白さ
○動くものに対して面白い性質がある。
○ストライプ模様を見せたときに、特定の動き・傾きに反応する細胞（H1）細胞が存在する。
○同様の細胞は、猫などの高等動物でも見つかっているが、ハエの場合は、このH1細胞数が10数個、しかも、モーターニューロンに直接つながっている。これは、とりもなおさず、ハエは、視覚入力をとても効率的にかつ必要不可欠なものとして利用していると考えることができる。
○はたして、飛行に必要な情報というのは、最低限どのような情報なのだろうか。
機器開発
画像処理装置
開発の趣旨
機体
重さ
ペイロード
マニュアルPIDパラメータ設定基板
電源
機器を小型化するともっとも問題となるのが電源。
小型の模型ヘリコプターを使用した研究では、メタノールエンジンを使用している
飛行物体の小型化
ヘリコプターをはじめとして空中停止・垂直上下動が可能な飛行物体を自律制御して、災害現場や遠隔地観測等の実用に約立てるとする試みは数多く存在する。
人間が操縦する実物大のヘリコプターではなく、小型飛行物体の実利用のコストパフォーマンス、可搬性、危険地域での使用等
成功している例
セイコーの小型ヘリコプター： 世界最小サイズの空中静止が可能な飛行物体 サイズ？ｃｍ 自重？ｇ ペイロード ？ｇ
キーエンス小型ヘリコプター：世界で2番目サイズのホビー用ヘリコプター サイズ？ｃｍ 自重？ｇ ペイロード ？ｇ
ヒロボー2つの逆転主翼タイプ飛行物体：安定した空中静止が可能なホビー飛行物体 サイズ？ｃｍ 自重？ｇ ペイロード ？ ｇ
千葉大自律制御ヘリコプター：カメラを搭載して1時間の飛行が可能 サイズ？ｃｍ 自重？ｇペイロード ６Kg
サイズ・自重・ペイロードをうまくまとめた図を一枚示して、飛行物体の発展のロードマップをしめす。
FIV４（おれの）とIchikawaHeliもロードマップに載せる。
ロードマップ
より小型化には、ロータータイプからバタフライタイプが必要なこと。
重さあたりの可能出力を考える。
内燃機関タイプが優れているが、小型化には機械的な問題で、技術的問題あり。
通常のモータータイプは、重さあたりの可能出力の限界がある。
セイコーのモーターは、超音波モーターを使っており、この限界を超えた。
更なる小型化には、新たな動力源の開発が必須。
更なる小型化を行なった場合、画像処理だけから姿勢制御、位置制御を行なう技術を開発することは重要。
生物にヒントを得る。
￥・
更なる小型化
ヘリコプターを災害救助や、遠隔地観測等の実用的な利用を考慮した場合、実働時間は最低1時間程度必要であると思われる。
これを可能とする動力源は、現状の技術では、メタノールやガソリンをつかった内燃機関を使用するほかない。実際に多くのこの種の研究は、模型用の小型ヘリコプターの中でも、内燃機関エンジンを利用したものがほとんどである。
実用的実用性を考慮した場合、
機器の消費電力
AC電源を使用
バッテリーでも使用可能
バッテリーの容量からの飛行可能予測時間
実験装置概要