o 연구개발 목표
본 연구에서는 연구팀의 딥러닝 기반 지자기 실내 측위 기술을 해군 함정에 적용하여 언제, 어디서나 실시간으로 작전 수행 중인 해군 함정의 상태를 모니터링할 수 있는 유비쿼터스 디지 털 트윈 서비스를 구축하고, 출입·보안 관제, 안전사고 관리 등의 위치 기반 서비스, AR (Augmented Reality) 글래스를 이용한 위치기반 대테러 작전 수행 시스템 등 다양한 위치기 반 차세대 국방 보안 응용 서비스를 개발하는 것을 최종 목표로 한다. 그림 1은 전체 시스템 의 개요를 보여준다.
이를 위해, 본 과제에서는 1 단계로, 정박해 있는 해군 함정에서 측위 오차 1 미터 내외 수준 의 기본적인 실내측위 시스템을 구축한다. 함정 내 공간 정보와 자기장 데이터를 수집하고 측 위에 필요한 딥러닝/instant localization/PDR (Pedestrian Dead Reckoning) 엔진을 최적화 하고 단층 환경에서 다양한 걸음 속도, 보행 자세로 현장 테스트를 통해 측위 성능을 검증한 다.
2 단계에서는 층간 이동 모듈 (계단, 엘리베이터, 에스컬레이터, 층 인식 모듈)을 추가하여 복 층을 포함한 테스트베드 전체에서 실내측위 시스템을 구축하고, 해상에서 이동 중인 해군 함정 에서의 지구자기장 변화를 분석하고 이에 강건한 실내 측위 시스템을 구축, 검증한다. 실시간 실내 관제를 위해 3D 모델링을 통한 디지털 트윈을 구축하여 서버에서 다수의 사용자가 실시 간으로 이동하는 것을 관제할 수 있도록 한다. 또한 대테러 대응 시스템을 위한 기본적인 AR 시스템을 개발하여, 스마트 글래스 장비를 착용했을 때, 카메라 vision기반 객체 검출 및 추적 등의 기능을 제공할 수 있도록 한다.
3 단계에서는 측위 엔진, 어플리케이션, 서버를 통합하여 시스템을 안정화하고, 보안 및 안전 관리 시스템, AR 기반 대테러 작전 수행 시스템을 완성하고 최종 검증을 진행한다. 2 단계에 서 구축한 디지털 트윈을 기반으로 출입 보안, 보안 관제, 안전사고 대응을 위한 시스템을 개 발한다. 또한 AR을 이용해 피아식별, 개인별 위치 공유 등의 기능을 제공하여 대테러 상황 발 생 시 더 높은 상황인식 능력을 부여하여 대테러 작전 임무의 효율성을 제고한다.
o 연구개발 개요
초정밀 실내측위 기술을 기반으로 해군 함정의 실시간 유비쿼터스 디지털 트윈 서비스 구축, 실내 위치기반 보안 및 안전 관리 시스템 구축, AR 기반 대테러 대응 시스템 구축을 위해 다 4 음의 3단계로 나누어 연구개발을 진행하며 그림 2는 각 기관 별 연구 수행 내용을 보여준다.
1. 지구 자기장 기반 실내 측위 테스트베드 구축 및 최적화 : 해군 함정 내에서 연구팀의 딥러닝 기반 지자기 실내 측위 기술을 적용하여 사용자의 위치 추적, 이동 경로 분석 및 다양한 보행 상태 등을 추정할 수 있는 실내 측위 시스템을 구축한다. 측위 시스템 구축을 위해 테스트베드 내 자기장 데이터를 수집하고, 수집한 자기장 맵을 딥러닝으로 학습한다. 딥러닝 모듈 외에도 측위를 위한 instant localization 엔진, PDR 엔진 등을 현장에 맞게 최적화한다. 1 단계에서는 기본적으로 정박해 있는 함정의 단층 환경에서 1 미터 내외의 측위 성능을 제공하는 것을 목표로 하며 다양한 보행 속도와 스마트폰 파지 자세에 모두 대응할 수 있도록 실시간 현장 테스트를 진행하고 성능을 검증한다.
2. 시스템 통합 및 디지털 트윈 구축, 스마트 글래스 AR 개발 : 2 단계에서는 1 단계에서 개발된 측위 엔진 (딥러닝, instant localization, PDR)들을 통합하고 계단, 엘리베이터를 포함한 복층 공간에서 실시간으로 층간 이동을 인식할 수 있도록 층간 이동 인식 모듈을 추가하여 계단, 엘리베이터, 에스컬레이터를 포함한 복층 전 함정에서 1 미터 내외의 측위 성능을 제공하는 측위 시스템을 구축한다. 또한, 해상에서 이동 중인 함정에서의 지구자기장 변화에 대응할 수 있도록 기존의 자기장 기반 측위 엔진 (딥러닝, instant localiation)에 추가하여 GPS (Global Positioning System) 기반 측위 엔진, 스마트 함정 내 Wi-Fi 등 전파신호를 이용한 RF 측위 엔진 등을 추가적으로 병합하여 정박 중인 함정뿐만 아니라 이동 중인 함정에서도 1 미터 내외의 측위 성능을 제공하는 실내 측위 시스템을 구축한다. 실시간 실내 관제를 위해 함정 전체를 3D로 모델링하여 디지털 트윈을 구축하고, 함정 내 모든 출입 인원의 현재 위치와 이동 경로를 실시간으로 관제할 수 있도록 한다. 또한 3 단계에서 개발할 AR 기반 대테러 대응 시스템을 위해, 기본적인 AR 기능을 개발한다. 카메라가 탑재된 스마트 글래스를 착용하면, 전방에 보이는 객체(사람, 사물 등)를 감지하고, 추적할 수 있도록 하며, 다양한 정보를 디스플레이에 표시할 수 있게 한다.
3. 시스템 안정화 및 보안·안전 관리 시스템, AR 기반 대테러 작전 수행 시스템 개발 : 3 단계 그림 2. 기관별 연구개발 수행 내용 5 에는 2 단계에서 개발한 측위 엔진, 애플리케이션, 서버를 통합하고 시스템의 안정화를 진행한 다. 또한, 통합된 시스템을 기반으로 출입 권한에 따른 인가 사용자의 one-pass 출입, 비인가 사용자의 보안 구역 접근 경고 알림, 위치 정보 및 보행 데이터기반 안전 사고 모니터링 등을 제공하기 위한 보안 및 안전 관리 시스템을 개발한다. 뿐만 아니라 2 단계에서 개발한 AR과 측위 엔진을 결합하여 대테러 대응 시 작전 수행을 위한 다양한 정보를 제공하도록 한다. 부대 원들의 위치와 이동·대피 경로를 실시간으로 지도상에 표시하고, 전방에 보이는 아군의 정보 (계급, 소속 등)를 스마트 글래스 화면에 띄워준다. 아군의 위치 정보들을 알고 있기 때문에 전 방에 감지되는 사람이 아군인지 적군인지 판별하여 표시할 수 있으며, 적군이 감지되면 적군의 위치 정보를 부대원들에게 신속히 공유할 수 있도록 한다. 최종적으로 무기를 지니고 있는 상 황, 함정이 이동하고 있는 상황, 느리게 걷거나 뛰는 등 다양한 시나리오를 가정하여 테스트를 진행하고 성능을 검증한다.
