더 안전한 식품 생산을 위한 AI 기반 손씻기 평가
다이후쿠 그룹 계열사인 콘텍株式会社康泰克은 식품 생산 시설 및 레스토랑에서 사용하도록 설계된 AI 기반 손 씻기 평가 시스템을 개발했습니다. 이 시스템은 사용자에게 올바른 손 씻기 절차와 기록 준수를 안내합니다. 이 혁신적인 솔루션 개발에 대해 콘텍 기술 사업부의 이노우에 료타와 유아사 타카미치와 이야기를 나눠보았습니다.
운영상의 필요 사항부터 시작
손 씻기는 공중 보건에 필수적이며 의료, 간호, 그리고 식품 서비스 분야의 일상 업무에 필수적인 부분을 차지합니다. 식품 산업에서는 2020년 6월 개정된 일본 식품위생법에서 기존 관행에 더해 국제식품규격위원회(Codex Alimentarius Commission)가 정의한 HACCP(위해요소중점관리기준)에 따른 위생 관리를 법적 의무로 규정했습니다. 이러한 규정 준수를 지원하기 위해 후생노동성은 올바른 손 씻기 절차와 권장 동작을 설명하는 매뉴얼을 발표했습니다. 그러나 실제로는 손 씻기가 불완전하거나, 손목을 간과하거나, 직원들이 스스로 만든 손 씻기 방법에 의존하는 경우가 많습니다. 따라서 많은 기업이 공식적인 손 씻기 규칙을 제정하고 관리자에게 준수 여부를 확인하도록 하고 있습니다. 그러나 이러한 접근 방식에는 어려움도 있었습니다.
유아사는 "한 회사에서는 직원들이 손을 씻을 때마다 종이 체크리스트를 작성하고, 관리자들이 시스템에 데이터를 수동으로 입력한다고 했습니다."라고 회상합니다. "자체 보고에 의존했기 때문에 손 씻기가 제대로 되었는지 확인할 방법이 없었습니다. 종이 기반 관리는 누락과 비효율성을 초래했습니다. 관리자들은 또한 데이터 입력 업무가 큰 부담이라고 말했습니다. 우리는 손 씻기의 품질 관리를 개선하고 그 부담을 줄이고 싶었고, 그 아이디어가 개발의 시작점이 되었습니다."
콘텍(Contec)의 IVA-HW100 AI 손씻기 평가 시스템은 손씻기 스테이션에 설치된 카메라 장착 엣지 컴퓨터를 사용하여 손씻기 과정을 모니터링하고, 이미지 인식 AI를 통해 손씻기가 올바르게 수행되고 있는지 판단합니다. 시스템 모니터에는 사용자의 손씻기 영상과 올바른 동작의 참고 이미지가 함께 표시됩니다. 각 단계가 올바르게 완료되면 시스템이 사용자에게 안내를 제공합니다. 이 화면 안내를 따르면 직원들은 시간이 지남에 따라 올바른 방법을 체득하는 데 도움이 됩니다. 전체 과정이 완료되면 결과가 자동으로 기록되어 관리자가 수동 입력 없이 규정 준수 데이터를 쉽게 확인할 수 있습니다.
AI 손씻기 평가 시스템 모니터 및 샘플 평가 결과
다양한 손에서 정확한 AI 인식 보장
손 씻기 평가 시스템의 핵심은 이미지 인식 AI입니다. 연구팀은 처음에는 모션 캡처와 유사하게 3D 카메라를 사용하여 손가락 특징점을 추출하고 모델링하는 방식을 고려했습니다. 그러나 손 씻는 동안 비누거품과 흐르는 물이 존재하기 때문에 이 방법은 신뢰할 수 없었습니다.
"거의 같은 시기에 회사 내에서 AI 연구가 활발해지고 있었습니다."라고 이노우에 씨는 회상합니다. "AI가 이 정도까지 발전했다면 이미지 인식 기능을 갖춘 표준 2D 카메라가 효과적일 수도 있겠다는 생각이 들었습니다. 그것이 개발을 진전시키는 계기가 되었습니다."
카메라 기반 손씻기 인식
이미지 인식 AI를 실행하려면 고성능 GPU가 필요하지만, 비용 제약으로 인해 고가의 부품을 사용할 수 없었습니다. 또한 설치 공간이 제한적인 다양한 세척 스테이션 환경에 적합할 만큼 컴팩트해야 했습니다. 성능, 가격, 크기를 고려하여 팀은 NVIDIA를 선택했습니다. NVIDIA GPU를 활용함으로써 서버 기반 AI 학습에서 엣지 컴퓨터 실행으로 원활하게 전환할 수 있었습니다.
이노우에 씨는 "다음 단계는 학습용 데이터 세트를 준비하는 것이었습니다."라고 설명합니다. "처음에는 저희 손을 사용하여 비누와 물의 양을 조절하고 다양한 각도에서 촬영했습니다. 이를 통해 기본 AI 모델을 구축할 수 있었지만, 손 모양이 매우 다양하기 때문에 데이터 세트를 더욱 확장해야 했습니다."
유아사는 "다양성은 체형에만 국한되지 않습니다. 피부톤도 다양하죠."라고 덧붙였습니다. "밝기, 대비, 채도, 색조를 조정하여 데이터 세트를 몇 배로 늘렸습니다. 그리고 시스템이 전면과 측면에 배치된 두 카메라 모두에서 제대로 작동하도록 각 위치에 약 10만 장의 이미지를 사용하여 AI를 훈련시켰습니다. 그 결과, 값비싼 3D 카메라에 의존하지 않고도 다양한 사람들의 손 씻는 동작을 인식할 수 있는 강력한 모델이 탄생했습니다."
AI가 원활하게 작동하도록 팀은 시스템 자체도 미세 조정했습니다. 초기에는 실시간 손 씻기 디스플레이의 과도한 처리량으로 인해 비디오 피드가 지연되고 중단되는 문제가 발생했습니다.
이노우에는 "일반 PC에서는 시작 시 데스크톱 환경이 실행됩니다."라고 설명합니다. "하지만 저희는 명령줄 인터페이스(CUI)를 도입하여 리소스 사용량을 크게 줄였습니다. 그 결과 손 씻기 시스템이 훨씬 더 원활하게 작동하게 되었습니다."
실제 사용을 위한 튜닝
핵심 AI 기반 평가 및 자동 기록 관리 기능 외에도 이 시스템은 사용자 정의 기능을 제공합니다. 후생노동성 매뉴얼이 손 씻기 동작 및 단계에 대한 기본 참고 자료로 사용되지만, 실제 관행은 업계마다 다릅니다. 많은 회사가 자체 지침을 가지고 있으며, IVA-HW100은 사용자가 단계 순서, 필요한 자세, 그리고 각 단계의 시간을 조정할 수 있도록 합니다. 환경적 요인도 고려했습니다. 조명과 세척 장소의 조건이 다양하기 때문에, 이 시스템은 오탐지 및 감지 누락을 최소화하기 위해 카메라 설정을 포함합니다.
확대해서 자세히 보세요.
유아사는 "화이트 밸런스를 자동으로 보정할 수는 있지만, 밝기와 싱크 반사는 더욱 정밀한 조정이 필요할 수 있습니다."라고 설명합니다. "그래서 사용자가 필요에 따라 밝기와 색상을 조정할 수 있도록 카메라 설정 앱을 개발했습니다. 라이브 영상 피드에서도 인식 영역이 빨간색 프레임으로 강조 표시되며, 프레임 크기도 조정할 수 있습니다."
향후 업데이트를 통해 새로운 기능이 추가될 예정이며, 그 중 하나가 사용자 인증 기능입니다.
유아사는 "많은 고객들이 누가 언제 손을 씻었는지 정확하게 추적할 수 있는 방법을 요청했습니다."라고 말합니다. "시스템 카메라가 손 방향으로 향하기 때문에 안면 인식은 불가능합니다. IC 카드 인증을 고려했지만, 일부 작업 현장에서는 위생 규정상 카드 반입이 금지되어 있습니다. 그래서 저희는 손바닥 정맥 인식을 사용하는 비접촉식 인증 시스템을 개발하고 있습니다. 앞으로도 기능을 추가하고 시스템을 개선해 나갈 계획이며, 그동안 습득한 내용을 향후 제품 개발에 적용할 계획입니다."
지금까지 IVA-HW100은 주로 냉동식품 공장, 도시락 공장, 그리고 레스토랑 체인점을 위해 개발되었습니다. 앞으로 Contec은 제약 및 화장품처럼 위생 관리가 중요한 산업 분야로 사업을 확장할 계획입니다. Contec은 해외 시장 진출도 확대하고 있으며, 위생 관리가 시급한 과제인 지역에서 이미 문의가 들어오고 있습니다.
손 씻기와 같은 일상적인 업무에 빠르게 발전하는 AI 기술을 적용함으로써, 이 프로젝트는 위생 관리 개선이라는 새로운 사회적 가치를 창출했습니다. 콘텍과 다이후쿠 그룹은 새로운 지평을 개척하고 사회 전반에 걸쳐 이러한 가치를 널리 제공하기 위해 끊임없이 노력하고 있습니다.
株式会社康泰克
Ryota Inoue, 기술 부문, IoT 기술 부서, 커뮤니케이션 개발 그룹
Takamichi Yuasa, 기술 부문, 응용 개발 그룹