서론NuScenes 데이터셋은 1,000개의 scene들로 이루어져있다.이때 각 scene은 도로를 다니면서 수집된 약 20초 가량의 데이터들로 이루어져있다. 이번 포스팅은 scene을 구성하는 sample, 그 sample에 포함되는 bounding box들을 시각화 해본다. 구체적으로는 bounding box로 표현된 객체들을 카메라와 위에서 내려다보는 장면(Bird Eye View, BEV)으로 시각화 해볼 예정이다.   단순히 nuscenes devkit의 render_sample_data 메서드를 호출하는 포스팅이 아니다!render_sample_data 를 scratch로 구현해보는 과정에 대한 정보를 담는다.   포스팅에서 사용하는 코드들은 다음 라이브러리가 설치되어야한다. (괄호 안에 있는..

AbstractDetection과 tracking 두개를 동시에 학습 시키고 싶지만, 성능 이슈가 발생한다.이는 두 task가 시너지를 내면서 학습하는게 아닌, 서로 충돌하면서 애매하게 학습하기 때문 이런 성능 이슈는 detection과 tracking 각각으로부터 classification을 학습하면서 발생하는 기울기가 충돌하기 때문이라고 분석했다.기울기 충돌은 각 task에서 sample을 positive로 결정하는 방식이 원인이라 분석 기울기의 충돌을 해결하기 위해 다음을 제안한다.Detection 및 tracking에서 정답이라고 판단되는 object query를 4개의 종류로 나눔나눠진 4개의 종류를 분석하여, 특정 종류에 대한 기울기를 조정조정할 기울기는 attention 연산에서 maski..

Abstract문제오랫동안 객체가 가려지거나, detection 결과가 좋지 않은 경우 ID-switching이 발생하게 된다.  해결존재하는 과거정보와 미래 정보를 예측해서 활용하자. - Past Reasoning        - 과거정보를 활용하여 추적중인 객체의 feature를 refine- Future Reasoning        - 과거정보와 현재 정보를 활용하여 추적중인 객체의 미래 위치를 예측        - 문제 해결의 핵심         Introduction3D multi-object tracking에서 LiDAR 기반의 접근들은 많지만, 비용이나 센서의 신뢰도로 인해 적용이 어렵다.카메라의 경우에도 여러 접근들이 있지만, 대부분 detection이나 tracking이 독립적으로 연구..

Abstract문제False Negative (FN)- 객체가 있는데 모델이 놓친것을 의미- 즉, 모델이 탐지하지 못한 객체자율주행에서 어떤 객체든 모델이 탐지하지 못한다는건 굉장히 큰 문제다.- 교통사고로 이어질 수 있기 때문  해결FocalFormer3D는 다음 방법들을 통해 false negative들을 줄이고자 한다.- HIP (Hard Instance Probing)        - FN을 줄이는 pipeline 제시- Multi-stage query generation        - 탐지하기 어려운 객체를 multi-stage로 해결- Box-level transformer decoder        - 방대한 객체 후보로부터 객체를 효과적으로 구별          Introduction3D..

AbstractCamera-based 3D MOT에 대한 새로운 end-to-end framework를 소개합니다!  문제Detection과 tracking을 하나의 query만 사용해서 해결하는 것은 성능이 좋지 않다.- Detection은 localization, tracking은 association을 담당하므로 서로 너무 다른 일을 처리한다.- 하나의 query로 두 task를 모두 해결하려고 하면, 두 부분 모두 성능이 낮아진다.- Representation conflict 라고 표현   해결Detection과 tracking 각각에 대해 query를 만들어 사용- Decoupled query 라고 표현          IntroductionTracking-with-query 접근이 많이 이루어..

개인 생각Object query에 대한 접근과 활용을 진짜 기가막히게 해버린 논문. 2D domain과 3D domain을 fusing하기 위해 진짜 다양한 논문들을 참고하고, 녹여냈다는 것을 느낄 수 있었다.           Abstract 문제- Image condition을 고려한 fusion 방법이 없음        - Bad illumination        - Sensor misalignment- 존재하는 fusion 방법들은 calibration matrix에 크게 의존        - 카메라가 다르거나, calibration이 정교하지 않거나 하면 성능이 낮아짐        - 이를 hard association이라고 표현   해결- Transformer decoder 구조 사용    ..

"풍미박산 기절초풍 설치과정" 시리즈는 말투가 다소 경박할 수 있다는 점 유의 바랍니다.  서론글 쓰는 시점, 그러니까 내가 QTNet을 클론해서 사용해보려하는 시점은 2024년 8월 중순이다. 그리고 QTNet의 전신은 TransFusion으로 마지막 커밋이 2022년 8월이므로 2년 차이가 난다. 이걸 왜 언급하냐면, 2년의 차이가 내 7일을 박살내버렸기 때문이다. 결국 내가 살아남았다.          개발환경 맞추기내가 가진 환경은 다음과 같았다.OSGPUPythonLinux Ubuntu 22.04RTX 30903.8.10 참고로 python은 꼭 3.8.x로 맞추자 이후 과정에 영향을 준다.         Pytorch 설치pip install torch==1.7.0+cu110 torchvis..

개인 생각Dense한 feature라는 것이 두가지 의미를 가지고 있다고 이해했다.    1. Feature들이 오밀조밀 모여있다는 것을 의미    2. Sparse voxel feature에 공간적인 특성을 부여했다는 의미 저자는 2번째 의미에서의 dense한 feature를 피했다는 것을 강조한다.    - 이를 확신하는 이유는 backbone adaptation 부분에서 설명할 예정이다.     Sparse voxel feature를 input부터 output까지 유지했다는 점이 VoxelNeXt의 특징이며, 진짜 sparse함을 극한까지 활용했다는 것을 알 수 있다.     추가로 언급되는 query voxel은 어떻게 찾아야하는지, 코드 상에서 어떻게 구현됐는지 저자가 밝히지 않았다. 그래서 ..

VoxelNeXt 논문 정리해보기

개인 생각2D object detection에서 쓰이던 기술들이 대거 3D에서도 쓰이는 것 같다.이름만 봐도 2D에 사용됐었던 모델이 보인다. 제시된 CenterPoint는 3D만의 방법을 찾아내는 과도기에 있는 것 같다는 생각이 들었다.       Abstract문제- 3차원 세계의 객체들은  특별한 방향을 갖지 않음- Box-based detector 들은 axis-aligned bounding box를 rotated object들로 fitting하는걸 어려워함해결- 3차원 객체들을 point의 형태로 표현하고, detect하고 track- 3d object tracking을 greedy closest-point matching 문제로 단순화        Introduction잘 알려진 2D dete..