mAP, IOU란? Object Detection 성능 평가 지표

질문

영상탐지율이라는 개념에서 map(mean average precision)과 iou(interaction over union)이라는 개념이 있잖아요 혹시 이런식으로 쓴다면 표현이 맞는건가요? 영상탐지율 0.2mAP 이상 @ 0.25IOU 기존문서에 이렇게 표현되어 있는데
제가 공부하면서 보니 이런식으로 쓰는 표현이 안보여서요...

 

답변

보통 mAP(mean average precision)는 IOU(interaction over union)와 지표를 함께 사용하여 표현합니다. mAP는 모든 클래스에 대한 평균 정밀도를 의미하고, IOU는 예측한 바운딩 박스와 실제 바운딩 박스의 교집합과 합집합의 비율을 의미합니다.

mAP@0.5와 같이 쓰면 IOU가 0.5 이상인 경우에만 mAP를 계산한다는 뜻입니다. 반면에 mAP@0.5:0.95와 같이 쓰면 IOU가 0.5부터 0.95까지 0.05씩 증가하는 값들에 대해 각각 mAP를 계산하고 평균한다는 뜻입니다.

따라서 영상탐지율 0.2mAP 이상 @ 0.25IOU라고 쓰면, IOU가 0.25 이상인 경우에만 mAP를 계산하고, 그 값이 0.2 이상인 것을 의미합니다.

요약하면, 영상탐지율은 mAP와 IOU를 함께 사용하여 표현할 수 있으며, mAP@IOU 혹은 mAP@IOU1:IOU2 와 같은 형식으로 쓸 수 있습니다.

 

반응형

mAP란?

성능평가지표에서 map이란 mean average precision의 약자로, 객체 검출(object detection) 알고리즘의 성능을 평가하는 지표 중 하나입니다. map은 다음과 같은 과정으로 계산됩니다.

1. 먼저 각 객체에 대해 예측한 바운딩 박스와 실제 바운딩 박스의 교집합과 합집합의 비율을 구합니다. 이를 IOU(intersection over union)라고 합니다. IOU는 0에서 1 사이의 값을 가지며, 값이 클수록 예측이 정확하다는 의미입니다.

 

2. 그 다음에 IOU가 특정 임계값(예: 0.5) 이상인 경우에만 예측을 성공한 것으로 간주합니다. 이때 예측한 바운딩 박스들을 정밀도(precision)와 재현율(recall)로 평가합니다. 정밀도는 예측한 바운딩 박스 중 실제 객체와 일치하는 비율을 의미하고, 재현율은 실제 객체 중 예측한 바운딩 박스와 일치하는 비율을 의미합니다.

 

3. 그리고 정밀도와 재현율을 그래프로 나타내고, 재현율에 대한 정밀도의 곡선 아래 면적을 구합니다. 이를 AP(average precision)라고 합니다. AP는 0에서 1 사이의 값을 가지며, 값이 클수록 알고리즘의 성능이 좋다는 의미입니다.

 

4. 마지막으로 여러 개의 클래스에 대해 각각 AP를 구하고, 그것들의 평균을 구합니다. 이를 mAP(mean average precision)라고 합니다. mAP도 0에서 1 사이의 값을 가지며, 값이 클수록 알고리즘의 성능이 좋다는 의미입니다.

 

요약하면, mAP은 객체 검출 알고리즘의 성능을 평가하는 지표로서, IOU를 기준으로 예측한 바운딩 박스들의 정밀도와 재현율을 계산하고, 그것들의 평균적인 면적을 구하여 클래스별로 평균낸 값입니다.

 

mAP를 높이기 위해서는?

mAP를 높이려면 객체 검출 알고리즘의 성능을 향상시켜야 합니다. 객체 검출 알고리즘의 성능을 향상시키는 방법은 다양하게 있습니다.

 

1. 데이터셋의 품질과 양을 높이는 것입니다. 데이터셋에 노이즈가 적고 다양한 객체와 배경을 포함하며 충분한 양의 데이터가 있으면 알고리즘의 일반화(generalization) 성능이 좋아집니다.

 

2. 네트워크 구조와 하이퍼파라미터를 최적화하는 것입니다. 네트워크 구조는 객체 검출에 적합한 형태로 설계되어야 하며, 하이퍼파라미터는 학습 속도와 정확도에 영향을 줍니다. 네트워크 구조와 하이퍼파라미터를 실험적으로 탐색하거나 자동화된 방법으로 최적화할 수 있습니다.

 

3. 데이터 증강(data augmentation)과 정규화(regularization) 기법을 사용하는 것입니다. 데이터 증강은 원본 데이터에 변형을 가하여 인공적으로 데이터의 양과 다양성을 늘리는 방법입니다. 정규화는 네트워크가 과적합(overfitting)되지 않도록 제약을 주는 방법입니다. 이러한 기법들은 알고리즘의 일반화 성능과 안정성을 높여줍니다.

 

요약하면, mAP를 높이려면 데이터셋의 품질과 양을 높이고, 네트워크 구조와 하이퍼파라미터를 최적화하고, 데이터 증강과 정규화 기법을 사용하는 등의 방법으로 객체 검출 알고리즘의 성능을 향상시켜야 합니다.

 

다른 평가지표는 없나요?

객체 검출 평가 지표에는 mAP 외에도 IoU(Intersection over Union), AP(Average Precision), AR(Average Recall) 등이 있습니다. 각각의 의미와 계산 방법은 다음과 같습니다.

IoU는 예측한 바운딩 박스와 실제 객체 위치의 바운딩 박스가 얼마나 겹치는지를 나타내는 지표입니다. 교집합 영역을 합집합 영역으로 나눈 값으로 0에서 1 사이의 값을 가집니다. 일반적으로 IoU가 0.5 이상이면 검출 성공으로 판단합니다.

 

AP는 정밀도(Precision)과 재현율(Recall)의 관계를 통해 객체 검출 알고리즘의 성능을 평가하는 지표입니다. 정밀도는 예측한 바운딩 박스 중 실제 객체와 일치하는 비율을, 재현율은 실제 객체 중 예측한 바운딩 박스와 일치하는 비율을 의미합니다. 

 

정밀도와 재현율은 서로 반비례하는 관계이므로, 두 값을 모두 고려해야 합니다. AP는 정밀도-재현율 곡선 아래의 면적을 계산하여 0에서 1 사이의 값을 가집니다.

 

AR은 재현율의 평균값을 의미하는 지표입니다. 재현율은 실제 객체 중 예측한 바운딩 박스와 일치하는 비율이므로, 높을수록 좋습니다. AR은 다양한 IoU 임곗값과 최대 검출 수에 대해 재현율을 계산하고 평균하여 0에서 1 사이의 값을 가집니다.

 

2023.03.12 - [AI설명] - diffusion 모델 중 LoRA 모델에 대해 알아보고 이미지 생성해보기

2023.03.12 - [AI설명] - diffusion의 확장 모델인 dreambooth에 대해 알아보고 이미지 생성해보기

2023.03.11 - [AI설명] - Diffusion 기술 중 Textual Inversion에 대해 속성으로 알아보도록 하겠습니다.