[논문 리뷰] Recent Advancements in End-to-End Autonomus Driving Using Deep Learning: A Survey

Title : Recent Advancements in End-to-End Autonomus Driving Using Deep Learning: A Survey, 2023

---

요약

• End-to-End 기반 자율주행에 관한 연구를 아래 항목별로 해체하여 정리함
• Learning Method, Input/Output Modalities, Safety approaches, Explainability and Interpretability, Evaluations, Dataset and Simulator
• End-to-End를 파악하는데 간단히 읽어보면 도움되는 논문

---

내용 정리

Learning Method

• End-to-End 학습에는 크게 Imitation Learning과 Reinforcement Learning이 사용됨
• Imitation Learning에선 인간 운전자의 주행 데이터를 학습하며 Reinforcement Learning에선 Reward에 따른 Policy를 학습함

Input / Output Modalities

• Input에는 Camera, Lidar, Navigation Inputs 그리고 기타 신호들이 Multi-modal로 사용됨
• Output에는 Waypoints, Cost Function, Direct Control and Acceleration, Auxiliary Output(ex/ BEV map, future occupancy)가 사용됨
  • Waypoint가 Output일 경우, MPC / PID 등 제어 기법을 사용해 Low-level 신호로 변환
  • Direct Control and Acceleration이 Output일 경우, Vehicle dynamics에 맞게 calibrated 되는게 중요함

Safety aspescts

• End-to-End 자율주행 시스템은 safety를 보장하는 것이 중요함
• 방법 1 : 학습 동안 safety consideration을 결합함
  • 학습 시 위험 거동, 충돌 등에 대한 Penalty 추가
  • 학습 시 위험 거동, 충돌 등에 대한 unsafe waypoints는 삭제하여 학습
• 방법 2 : E2E output를 후처리
  • 출력 waypoints에 대한 충돌 판단, Constraint를 포함한 MPC 수행 등

Explainability and Interpretability

• Post-hoc saliency methods : Model의 출력 신호에 가장 큰 영향을 주는 Input 신호 영역을 찾아보는 것
• Counterfactual Explanation : Model의 출력 신호 변화에 가장 큰 영향을 미친 Input 신호의 변화를 찾아보는 것

Evaluations

• 평가 지표 (Metric) : MinADE, MinFED, L2 error, collision rate 등.. (논문에 더 많은 metric 있음)
• 한단계 추상화된 지표 : Route Completetion, Driving Score..

Dataset

• 2020년 이전에 공개된 데이터셋들에 대해 설명되어 있음

---

결론

• E2E 자율주행 기술 개발 시 연구/고려/고민해야할 부분이 잘 나누어져서 설명되어 있음
• 각 부분 별 깊은 내용 설명 / 연구 소개는 없지만 전체 연구 부분을 파악하기에 괜찮은 논문임