Object Detection & Segementation

Overview

Detection and Segmentation

 

Region based CNN(RCNN)

 

Fater RCNN with ResNet

 

Fully Convolutional Networks(FCN) for Semantic Segmentation, 기존에 이미지 분류는 1x1 벡터가 output으로 나왔다면 sementic segmentation은 feature map이 output

 

가장 최근(2021) 모델, vision transformer 구조 https://paperswithcode.com/paper/segmenter-transformer-for-semantic

 

Object Detection&Segmentation

 

Object Detection의 경우

1. object인지 아닌지를 판단

2. object의 localize를 어떻게 할 것인지

두가지 포인트가 있다.

 

localization은 sliding window, object proposal 등의 기법이 있고 object인지 아닌지를 판단하는 경우 localized object를 분류를 통해 판단을 한다.

 

SVM(Support Vector Machine)

지도학습 기법이며 가장 잘 분류하는 초평면을 찾는 것을 목표로 한다. 가장 강력한 분류기이며 작은 학습 데이터 크기로도 잘 작동하지만 멀티 클래스 분류로의 직접적인 확장이 없다는 것이 단점이다.

 

HOG(Histogram of Oriented Gradients)

*Gradient Image Computation, 이미지의 변화하는 정도를 나타냄.

픽셀값의 변화가 큰 부분은 경계선 부분으로 이미지의 경계선 및 방향을 찾는 용도로 활용된다.

 

각 픽셀에 대한 Gradient Magnetitude 값을 반영한 히스토그램이 생성되고 이를 이용해서 공간적 분포(spatial distribution)를 파악한다.

HOG+SVM

 

IoU(Intersection on Union) - Evaluation metric

IoU

bounding box가 얼마나 겹치는지 objectness를 측정할 때 사용한다. 이 외에 Object Detection Evaluation metric으로 Recall(정답 박스를 맞춘 수/전체 정답 박스 수), Precision(예측한 박스 중에 정답을 맞춘 수/예측한 박스 수), AP(Average Precision), mAP등이 있다.

 

RCNN(Region-based CNN) & Fast RCNN, Faster RCNN, Mask RCNN

 

RCNN은 bounding box의 transformation을 학습하고 Fast R-CNN은 training이 9배, testing이 213배 빨라진 버전의 RCNN이다. RoI pooling과 single stage training using multi-task loss를 통해 개선한 것이다.

 

FPN(Feature Pyramid Network)

reconstruct spatial resolution in the top-down pathway

object detection에 scale robustness가 중요하며 image pyramid보다는 feature pyramid를 만드는 것이 효과적이다.

PANet(Path-aggregation network)는 top-down-top 방식을 활용한다.

 

Semantic Segmentation