食品工場の手洗いにAI技術を活用し、HACCPに対応した衛生管理を支援
ダイフクのグループ会社であるコンテックは食品工場や飲食店での活用を想定したAI手洗い判定システム「IVA-HW100」を新たに開発しました。正しい手洗いの手順を支援するとともに、実施状況を自動で記録する機能を備えています。開発に携わった同社技術本部の井上凌太と湯浅貴道に話を聞きました。
管理者のニーズが開発の起点に
手に付着した細菌やウイルスを洗い流す手洗いは、公衆衛生に重要な役割を果たしており、医療や介護、飲食などの業界では手洗いが業務の一部として実施されています。食に関係する業界では、2020年6月の改正食品衛生法の施行により、従来の衛生管理に加えて、食品規格委員会（CODEX）が定めた「HACCP（ハサップ／Hazard Analysis and Critical Control Point）」に基づく衛生管理が求められるようになりました。厚生労働省では正しい手洗いの手順やポーズを示したマニュアルを作成し、安全で衛生的な食を提供する支援を行っていますが、その通りに実施するのは容易ではなく、すすぎが不十分だったり、手首を洗っていなかったり、独自の方法で手洗いをしている例が少なくありません。そのため、企業では従業員に手洗いの手順を定めた上で、管理者が実施状況を確認して徹底を図っていますが、そこにも課題がありました。
「ある企業では、従業員が手洗いの際に紙のチェック表に記入し、管理者がその情報を手作業でシステムに入力していると聞きました。チェックは自己申告のため、本当に正しい手洗いが行えているかどうかは確認できず、紙を介した情報管理は記入漏れが起こりやすく非効率です。管理者の方も『入力作業の負担が大きい』と話しており、手洗いの品質管理と管理負担軽減のお手伝いをしたいと考え、開発に至りました」（湯浅）
コンテックのAI手洗い判定システム「IVA-HW100」は、手洗い場に設置したカメラ搭載のエッジPCで手洗いの様子を撮影し、画像認識AIで正しく手を洗えているかを判定する仕組みです。PCモニターには、自身の手洗いのリアルタイム映像と並んで、手本となる正しいポーズが表示されます。指示通りにできると次のポーズに進む仕組みなので、映像を見ながら手を洗うことで正しい洗い方を学べ、それを日々繰り返すことで正しい手順が自然に身に付きます。手順通りに手洗いを完了すると、情報は自動で記録され、管理者は入力作業の手間をかけずに実施状況をデータとして簡単に把握できます。
AI手洗い判定システムのPCモニターと、手洗いの判定結果のイメージ
肌の色や手の形をAIが正しく認識するために
手洗い判定システムの肝は画像認識AIです。当初は指の特徴点をモーションキャプチャーの要領で抽出・モデル化し、3Dカメラで認識させる仕組みを考えました。ところが、手の表面には常にハンドソープの泡や流水があるため、指の特徴点を認識させる方式との相性はよくありませんでした。
「ちょうどその頃、社内でAIの研究が活発化しており、『これだけAIが進化しているなら、通常の2Dカメラと画像認識AIで対応できるのでは』と考えたのが、開発を進める上でヒントになりました」（井上）
カメラで手洗いの実施状況を認識
画像認識AIを動かすには十分な性能のGPUが必要ですが、製品価格を抑えるためには高価な半導体を使用できません。しかも、手洗い場の環境は一様ではなく、カメラの設置スペースが十分にない場合も想定されるため、システム全体を極力小型に仕上げる必要がありました。性能、価格、サイズを含むさまざまな条件を考慮して選んだのがNVIDIA社製の半導体です。開発にはGPUの性能を引き出すプラットフォームを使用でき、サーバーでのAI学習から製品用エッジPCでの実行まで、スムーズに移行できる点も魅力でした。
「次に必要だったのは学習用データセットです。まずは自分の手を使って、泡の付け方や水の流量を変え、さまざまな角度で手洗いの様子を撮影しました。そのかいあってベースとなるAIモデルが完成しましたが、手の形は千差万別なので、モデルとなる画像を増やす必要がありました」（井上）
「形だけでなく、肌の色も多様ですから、設定を工夫して明るさやコントラスト、彩度、色相を調整し、データを数倍に増やしました。カメラの設置位置が人物の正面・側面いずれの場合にも対応できるよう、正面・左右それぞれで約10万枚の画像を学習させています。結果、高価な3Dカメラを使用せず、さまざまな人の手洗い動作を認識できるAIモデルを確立できました」（湯浅）
AIをスムーズに作動させるために、システム全体にも工夫を施しました。PCモニターには手洗いの様子をリアルタイムで表示させましたが、画像処理の負荷が大きく、初期段階では表示が遅延して映像が途切れ上手く表示できませんでした。
「一般のPCは起動時にデスクトップ環境が立ち上がりますが、今回はキーボードからのコマンド入力で操作するCUI環境を採用し、リソースの使用量を抑制しました。結果、手洗いシステムの動作がよりスムーズになりました」（井上）
実際の環境を踏まえて利用者目線でチューニング
手洗いの様子を画像認識AIで判定し、その情報を自動で記録する基本のシステムに加えて、カスタム要素も盛り込みました。例えば、手洗いのポーズと手順は厚生労働省のマニュアルが初期設定のベースですが、手洗いの手順は一律ではなく、業種や業界によって洗い方に差があります。独自のマニュアルを策定している企業も多いため、本システムでは手洗いのポーズや順序、所要時間を変更できるように設計しました。また、手洗い場の明るさや環境は設置場所ごとに異なるため、誤検知や見逃しを抑えるためにカメラの設定機能を設けています。
画面を拡大してご覧下さい。
「ホワイトバランスは自動で補正されますが、現場によって明るさやシンクの反射が異なるため、カメラの設定アプリで明るさや色彩を調整できるようにしました。また、リアルタイム映像には手を認識できるエリアを赤い枠で表示しますが、枠の大きさも変えられます」（湯浅）
今後、アップデートが予定されている機能もあります。その1つがユーザー認証機能です。
「誰がいつ手洗いをしたのかを正確に把握したいとの要望が多く寄せられています。もともとカメラ付きのシステムなので活用を検討しましたが、カメラは手元を撮影する角度で設置するため、顔認証は困難です。社員証などのICカード方式も検討しましたが、衛生管理上、ICカードを持ち込めない工場もあるため、手のひらの静脈を用いた非接触の認証システムを採用候補とし、実装に向けて開発を進めています。今後も機能を拡充しながらブラッシュアップを図るとともに、ここで培った経験を次の製品開発に生かしていきたいと考えています」（湯浅）
これまでは冷凍食品工場や弁当工場、外食チェーンでの導入をベースに開発を進めてきましたが、今後は医薬品や化粧品をはじめとした衛生管理を重視する業界への展開も視野に入れています。また、コンテックではグローバル企業としての発展を目指して海外拠点網を広げており、既にAI手洗い判定システムに関する問い合わせも入っていることから、インドなど、衛生管理に課題を抱える地域への展開を検討しています。
誰もが何気なく行っている手洗いに、発展目覚ましいAIを適用することで、衛生管理の質向上という価値を創出した本プロジェクト。コンテックをはじめとするダイフクグループでは、今後も新領域に挑戦するとともに、その価値を幅広く社会に届けられるように開発に力を入れてまいります。
株式会社コンテック
技術本部 IoT技術部 通信開発グループ 井上 凌太
技術本部 応用開発グループ 湯浅 貴道