サマリー
介護現場での事故は転倒・転落事故が全体の過半数以上を占めると言われ、事故を減らすことができれば、介護現場の負担が大きく減らすことができます。介護現場でご使用いただくためには、太陽光が入る環境でも動作し、夜間の暗闇でも動作する必要があります。被介護者に負担を与えないためにはプライバシーに配慮したセンシング技術での実現が必要になります。
オムロンには、OKAO Vision*でAI技術を駆使したアルゴリズム開発の技術がありますので、この技術をベースに姿勢推定に必要なアルゴリズムを構築することができます。3D TOFセンサモジュール形B5Lから出力される距離データから人の骨格点をAI技術で推定する姿勢推定技術で人の状態を把握でき、太陽光の影響を受けにくく、暗闇でも動作し、さらに、プライバシーに配慮したセンシングが可能になりました。
骨格点情報からアルゴリズムを開発することで人がどのような姿勢をしているかを定量的に認識でき、骨格点を分析することで、人の転倒や転落の推定に活用できると認識します。
姿勢推定とは
姿勢推定は3D TOFセンサモジュール形B5Lから出力される距離計測データを用いて、AI技術を活用した自社開発のアルゴリズムで人の骨格点を推定し、座標を出力する技術です。この骨格点から人がどのような姿勢をしているかを定量的に認識でき、人の姿勢を理解できることから一般的に姿勢推定と呼ばれたり、骨格推定とも呼ばれます。
姿勢推定の応用例として、お客様がこの骨格点をアルゴリズムで分析することで人の転倒や転落の推定に活用できると認識します。
開発背景
高齢化社会によって被介護者の増加で介護の現場では深刻な労働力不足が慢性化し、今後、悪化すると推察されます。
介護現場での事故は転倒・転落事故が全体の過半数以上を占めると言われ、事故の対応や事後対応で介護の現場では大きな負担となっております。負担軽減のため、事故が発生したと推定される場合、まず、リモートで被介護者の状態を確認し、必要時、被介護者の部屋に駆けつけるとなれば省力化の可能性があります。しかし、被介護者の部屋にカメラを設置した場合、プライバシーの観点で敬遠されるケースが少なくありません。
プライバシーに配慮し、人の状態を把握できる方法として、3D TOFセンサモジュール形B5Lから出力される距離データから人の骨格点を推定する姿勢推定技術を活用し、アルゴリズムを開発することで人の状態を把握する解決策につながりました。
また、オムロンには、OKAO Vision*でAI技術を駆使したアルゴリズム開発の技術がありますので、この技術をベースに姿勢推定に必要なアルゴリズムを構築するためディープラーニングをさせることで実現できました。
プライバシーに配慮した3D TOFの出力を利用してAI技術により人の骨格点情報を出力
姿勢推定の特長
AI技術を活用した自社開発のアルゴリズムで人の骨格点情報を抽出
小型・高速を強みとするアルゴリズムによりGPUレスで動作が可能
OKAO Vision*の技術をベースに、形B5Lが人までの距離計測した出力からAI技術により、人の骨格点が最適化されるようにディープラーニングで精度の高いアルゴリズムを開発しました。
ディープラーニングにより被介護者の骨格点が他の方に乗り移ったり、イスやテーブルの足に乗り移ったりすることが軽減されています。
動画は、座ったり、かがんだりなど、1人から3人の動作に追従した姿勢推定による骨格点が精度よく表示されます。
OMRON 姿勢推定ソフトウエア -プライバシーにも配慮可能なソフトウエア-
PCやモバイル等の機器組込みで動作する画像センシング商品OKAO Vision*の開発で長年培った、小型・高速化の技術を本商品にも適用することで、お客様がホスト側にGPUのような装置を用意していただくことなく、PC上で動作が可能になります。
被介護者の生活環境のため、窓を設置した場合、太陽光が入ってくることがあります。形B5Lの耐外乱光特性により太陽光がさしてくる環境下でも、
照明がない夜間でも形B5Lは被介護者までの距離データを出力できます。
この距離データから自社開発したアルゴリズムにより骨格点を推定します。
注. 形B5Lは距離計測のためLEDを発光させておりますので、明かりのない夜間でも距離計測が可能です。
カーテンを開けて太陽光が照射される環境下でも姿勢推定の骨格点推定への影響が少ないことを示します。
OMRON 姿勢推定ソフトウエア -太陽光がさす環境下でも照明がない夜間でも出力可能-
概要仕様
| 項目 | 仕様 |
|---|---|
| B5L設置角度 *1 | Roll方向：地面に対して水平 Pitch方向：人体に対して水平または斜め見下し （0～-60°） |
| B5L設置高さ *1 | 1.8～2.5m |
| 検出距離 *1 | 0.5～3.0m |
| 検出条件 *1 | 骨格点13点のうち7点以上が見えている人体 |
| 最大検出数 *2 | 3 |
| 出力点 *3 | 上の図の骨格点13点に対する、 位置座標(x, y)および信頼度 |
| 人体検出 | 含む |
| 対象デバイス | ラップトップ *GPU不要 |
| 検出可能姿勢 | 座る、立つ、歩く、かがむ、横たわる *上記の姿勢での骨格点検出が可能です |
| 処理速度 *4 | 約5FPS |
*1 設置高さ・カメラアングル・B5Lと人体の距離により、近すぎるなどで画角内に骨格点が7点以上映っていない人体は、未検出または座標が正確でない場合があります。
*2 4人以上が映っている場合、人体の骨格点の信頼度を総合的に内部で判定し、結果の高い上位3人を出力します。フレーム毎に異なる3人が出力される場合があります。
*3 何かに隠れて映っていない骨格点は、信頼度が低く出力される傾向があります。
*4 Intel Core i7 CPU@3GHzの場合の、弊社DBにおける代表的な画像に対する値です。
システム構成例
3D TOFセンサモジュール形B5Lと姿勢推定ソフトウエアをセットでご使用いただき、姿勢推定ソフトウエアをインストールいただくホストPCが必要になります。
下図は3D TOFセンサモジュール形B5Lの出力データをホストPCにインストールされた姿勢推定ソフトウエアで骨格点を推定し、XYの座標データを出力し、お客様による分析ソフトウエアで転倒・転落を判定し、介護者に判定結果を送信するシステム例となっております。
アプリケーション例
人の骨格点情報を抽出
介護・見守り
応用例
姿勢推定の骨格点データより、転倒などを推定できます。
評価用ソフトウエア
姿勢推定ソフトウエアを評価されたいお客様は、お問い合わせフォーム、オムロン商品を取り扱っておられる販売店様、または弊社営業員にお問い合わせ下さい。
