[Papers Review] Parallel Tracking and Mapping for Small AR Workspaces(PTAM)

논문 : Parallel Tracking and Mapping for Small AR Workspaces (PTAM)

URL : ieeexplore.ieee.org/document/4538852

Parallel Tracking and Mapping for Small AR Workspaces

저자 : Georg Klein∗ David Murray†

Publish : 2007, ISMAR

[Intro Summary] 

• 해결하고자하는 문제
  • estimating camera pose in an unknown scene
• 지금까지 시도해왔던 방법들
  1. 기존 맵과 비교해서 새로운 특징을 쌓아나감
  2. extensible tracking 으로 previous map 없이 tracking 시도
• 기존 방법들의 한계
  1. 계산량이 많고, intial map에 의존적임
  2. environment에 대한 deep - understanding이 불가능, AR 분야에서 기능이 제한됨.
• 이번 논문에서 시도할 방법
  • virtual simulation 에 map을 sandbox 처럼 쌓으며 진행
  • 다른 방법들과 다르게 tracking과 mappin을 분리해서 함
• 논문이 가지게 되는 Contributions
  • 효율적으로 구동 가능한 프로그램을 고안해냈다.
  • 성능이 좋다.
  • 기존의 문제(모든 frame에서 tracking과 map을 하기 때문에 속도와 정밀성에 대한 트레이드 오프 문제) 을 깻다.

[Summary] Main Points of this paper

• Tracking 과 Mapping 모듈을 따로 빼서 parallel 하게 운영
• Tracking
  1. 새로운 영상 input → 영상의 특징점 추출(FAST-10)
  2. FAST-10 추출점과 map의 특징점을 매칭(8x8 patch, SSD 사용)
  3. 매칭완료시 reprojection error 를 최소화 하는 camera pose 로 결정
  cf) reprojection error
• Mapping
  1. initial map 생성 → 사용자가 카메라 고정한 뒤 시작 누르고, 평행하게 일정한 거리 이동 후 종료
     • 종료된 시점에서 추적위치 + 처음 위치로 5 points algorithm 실행
  2. 확장, 갱신 조건 3개를 만족 할 시 갱신 → 결국 카메라의 변화가 있을때를 감지하기 위한 조건들

[Strengths] Clearly explain why these aspects of the paper are valuable.

• 연산량이 작은 tracking은 모든 frame에 대해서 진행하고, 연상량이 많은 mapping은 key frame에만 적용해서 (대신 정밀도가 높은 알고리즘 사용) real-time 에서 성능이 좋도록 만들 수 있었다.

[Weaknesses] Clearly explain why these aspects of the paper are weak.

• static 해야한다.
• small 공간에서만 가능하다( 추후 PTAMM에서 해결)
• 유저의 도움이 필요하다.

[Why accepted?] What is the contribution of the paper? Or novelty

• 기존의 문제를 색다른 해법으로 해결했다( 정확성과 속도의 트레이드 오프 관계 문제)
• 성능 또한 뛰어나다. (실시간성)

[Appendix]

• 다크프로그래머 : PTAM 와 PTAMM