인식 태스크의 다양한 방법들과 생성 태스크의 활용 가치

인식 태스크

• Image Label
  • Image Classification
  • Object Detection and Localization
  • Sementic Segmentation, Instance Segmentation, Panoptic Segmentation
  • Face Detection, Recognition,
  • identification
  • Landmark Detection, KeyPoint estimation
  • Data Augmentation techniques
  • Knowledge distillation, lightweight low-power model
• Video Level
  • Video Object Tracking
  • Action Recognition

인식 태스크는 위와 같이 다양한 방법들이 존재합니다.

 

위의 방법들 중 일부만 알아보려고 합니다.

 

Image Classification

  개와 고양이를 분류하는 모델을 만든다고 한다면, 모델을 학습한 후에 위와 같이 개와 고양이에 해당하는 이미지를 입력으로 주어서 그것을 개인지 고양이인지를 분류하는 모델을 말하며 Class가 개와 고양이와 같이 2개인 경우 Binary Classification이라고 하며, Class가 3개 이상이 되면, Muti-class Classification이라고 합니다.

 

Object Detection and Localization

Object Detection의 예

 

Localization의 예

  Detection은 Classification과는 다르게 해당 이미지에 찾고자 하는 Object가 있는 위치와 해당 Object의 Class를 맞추는 모델입니다. Object Detection과 Localization의 차이는 Object Detection의 경우는 찾고자 하는 Object의 수가 하나의 이미지에 여러 개일 경우를 의미하고, Localization은 찾고자 하는 Object에 1개만 존재할 경우를 의미합니다.

 

Semantic Segmentation

Semantic Segmentation 예시

   Semantic Segmentation은 위에서 설명한 Object Detection과 Classification과 해당 Object를 Pixel 단위로 Classification을 하는 단계입니다. 즉, 만약 사람에 해당하는 Label이 8일 경우 위처럼 사람을 찾고, 찾은 사람을 8에 해당하는 색으로 칠해주어 영상을 분할하는 방법입니다.

 

  그리고 위와 같은 방법들 외에도 사람마다 얼굴의 대표점을 정해서 위치를 정확히 찾고, 생김새를 구분하는 Facial Landmark detection과 사람의 얼굴만을 찾아 Detection 하는 Face Detection, 사람 또는 개의 모습을 보고 어떠한 행동을 하는지 추정하는 Pose Estimation과 같은 다양한 방법들이 있습니다.

 

데이터의 생성 및 변환

• 가짜 얼굴 영상, 음성, 텍스트 등을 자유롭게 생성한다.

웹툰, 애니메이션, 영화, 미술, 음악 등의 컨텐츠 제작 분야에서의 활용 가치가 큽니다.

 

생성 및 변환 태스크의 예시

• Style Transfer
• Image Generation
• Image inpainting
• Translating into Animation Characters
• Image Manipulation and Editing
• 3D Reconstruction
• DeepFake

Style Transfer 

•  Style Transfer는 A라는 입력 이미지를 B에 해당하는 이미지의 스타일로 바꾸어 주는 방법입니다.

 

Style Transfer 예시

이외에도 다양한 사례들이 존재합니다.

 

Demo: https://thispersondoesnotexist.com/

This Person Does Not Exist

위의 링크에 접속하는 실제 존재할 법한 얼굴들을 생성해주는 사이트입니다.

 

이 외에도 멀을 얼룩말로 바꾼다던지, 그림을 사진으로 사진을 그림으로 바꾸거나 계절을 바꾸는 모델 또한 존재합니다.

 

긴글 읽어주셔서 감사합니다 ~!!

 

다음에는 확률 밀도 함수 추정 및 샘플링에 대해서

공부 후 포스팅할께욧 ~!!

다들 즐공하세요 ~~