Super resolution 5

[논문 리뷰] Deep Learned Super Resolution for Feature Film Production

0. Abstract  고화질의 이미지를 만들기 위한 Upscaling 기술은 비용이 비싸고, 생산하기 어렵다.최근 딥러닝 기술이 기존의 전통적인 알고리즘을 능가하여 upscale 된 이미지의 디테일과 미세 부분을 향상했다.저자는 고화질의 콘텐츠를 생산하고, 렌더링 비용을 감소하는데 유용한 upscaling 기술을 딥러닝으로 수행하는 것에 대한 동기와 도전에 대해서 얘기한다.1. Background & Related Work  nearest-neighbor, bilinear, bicubic interpolation 같이 이미지의 해상도를 올리는 여러 기술이 있다.Deep Convolution Neural Network는 LR 이미지와 HR 이미지를 매핑하는 학습을 함으로써 상당한 복원 퀄리티를 입증했다...

[논문 리뷰] BasicVSR : The Search for Essential Components in Video Super-Resolution and Beyond

해당 논문 리뷰에서는 IconVSR에 대한 설명을 하지 않습니다.또한 다른 모델에 대한 설명도 하지 않습니다.추후 시간이 된다면 부족한 설명을 덧붙이도록 하겠습니다.0. Abstract  VSR은 시간적 차원을 추가로 이용하기 때문에 image SR에 비하여 좀 더 많은 구성요소를 가지는 경향이 있다.복잡한 디자인은 흔하지 않다.본 연구에서는 이러한 매듭을 풀고, VSR에서 4개의 기본적인 기능으로 안내되는 가장 중요한 구성요소를 재고려하려고 한다.Propagation, Alignment, Aggregation, Upsampling이미 존재하는 몇몇의 구성요소에 약간의 디자인을 더함으로써, 많은 SOTA와 비교해도 speed와 restolration quality 측면에서 향상한 간결한 pipeline인..

[논문 리뷰] SRGAN - Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network

0. Abstract  더 깊고 더 빠른 CNN을 사용하여 빠르고 정확한 single image SR이 가능함에도 불구하고, 한 가지 큰 문제점이 있다.큰 upscaling factor에서 어떻게 미세한 텍스쳐 디테일을 복구할 것인가에 대해서다.최근 연구는 대부분 MSE(mean squared reconstruction error)를 최소화 하는데 초점을 맞추고 있다.그 결과는 PSNR(peak signal-to-noise, 높을 수록 좋음, MSE와의 반비례)를 높이지만, 세부 정보(high-frequency detail)가 부족하고, 더 높은 해상도에서 시각적으로 기대되는 충실도와 일치하지 않는다는 것이 불만족스럽다.즉, 해당 논문은 MSE, PSNR이 SR을 측정하는데 절대적으로 정확한 측정법이 아..

[머신러닝 - 이론] Computer Vision의 연구 분야와 대표적인 모델 - Segmentation, SR, Generative, Translation (Computer Vision Research Fields and Representative Models - Segmentation, SR, Generative, Translation)

1. Image Sementic Segmentation 이미지에 의미가 있는 부분을 세분화하는 작업입니다. 중요한 특징 중 하나로는 output이 크기가 같은 image라는 것이 특징입니다. 2015년에 CVPR이라는 곳에 나온 모델을 보면, input과 output이 사이즈가 같은 이미지기 때문에 Dense Layer을 없앴습니다. 요즘은 영상이 output이면 Dense Layer을 없애고, Fully Conv Layer을 넣는 경우가 많다고 합니다. 의료분야에서 대표적인 Model은 U-Net입니다. 보시면 처음에 Conv Layer에서 나온 Feature Map을 두 개의 방향으로 보내는 것을 볼 수 있습니다. 아래 방향으로 가면서 중요한 정보들만 추출하고, 다시 upscailing하는 과정에서 ..

[머신러닝 - 이론] Computer Vision

1. Computer Vision이란? AI의 한 분야이고, 이미지, 비디오 혹은 visual input에서 의미 있는 정보를 추출하는 분야입니다. 또한 해당 정보에 기반해서 행동을 취하거나 추천을 하는 등의 분야입니다. 이 분야의 목적은 NLP와 비슷하게 컴퓨터에게 이미지를 이해시키는 것이 목적이며, 정보와 insight를 정확하게 추출하는 것이 목적입니다. 이때 이미지는 NLP와 다르게 매우 다양하며, VR, 적외선 레이더 등 매우 많은 이미지가 있습니다. 이때 이미지에서 현재 상황을 보거나, 어디에 무엇이 있는지, 어떤 행동이 일어나고 있는지, 어떤 행동을 예상하는지, 어떤 일이 발생할지에 대해 discover합니다. Computer Vision이 영향을 끼칠 수 있는 분야는 매우 많습니다. 기본적..