kangetal

GANsGAN, C-GAN, Diffusion과 같은 생성모델은 인식모델보다 expensive (param수 측면 & 연산 측면)- GAN CompressionNeural Architecture Search와 Distillation과 유사한 방법이다. 사전학습된 teacher 모델로부터 channel의 일부 configuration만 만들어서 distllation을 진행하는 방법으로 생성된 feature map의 L2 norm을 최소화하는 방법으로 optimize를 진행한다. - Anycost GANGAN을 통해서 image editing이 가능하다. 예를 들면, original img를 latent space로 embedding을 하고, w의 gradient 방향을 조금씩 이동시켜서 특징의 정도를 조작..

https://www.youtube.com/watch?v=fcmOYHd57Dk • Basics of Vision Transformer (ViT)img를 패치화한 후 각 패치를 embedding하여 transformer의 encoder에 넣는다. 위 그림에서처럼 patch size에 변주를 주거나 layer, hidden dim 등에 변화를 주면 다양한 모델의 형태를 얻을 수 있다. 위 그림을 보면 작은 데이터셋에 대해서는 CNN보다 ViT가 더 성능이 낫고 충분히 큰 데이터셋에서만 우세한 성능을 보이는 것을 알 수 있어 이 점이 한계이다. • Efficient ViT & acceleration techniques고해상도 이미지가 예측에 있어서 중요한데, ViT는 이미지 해상도가 증가함에 따라 계산량이 q..

https://www.youtube.com/watch?v=nFE1euQ_WtwBasics of diffusion model• Denoising diffusion modelsDDPM은 2가지 process로 구성되어있다. noise를 점진적으로 추가하는 forward process를 정의하고 이 것의 반대과정을 도출한 것인 reverse process를 학습하여 data를 generate하는 것이다. GAN과 비교해보았을 때, DDPM은 iterative mapping을 Gaussian noise로부터 정의하여 생성과정 역시 step by step이지만, GAN은 한번의 step만으로 데이터를 생성한다. original data x0에서 노이즈를 점진적으로 주입하면 시간의 흐름에 따라 Xt가 되고 T까지 ..

1. Efficient inference algorithms for LLMs(1) Quantization : SmoothQuant, AWQ, TinyChatqunatization : 실수 r을 정수 q로 양자화하여 실수 scaling factor를 이용하여 압축하고 복원하는 과정을 의미함. [ 연산을 단순화하면서 성능 저하를 최소화하는 것이 목표] - SmoothQuant(W8A8)8bit로 weight와 activation을 양자화 하는 방식으로 CNN에서 널리 사용하지만 LLM에서는 특정 크기 이상에서는 LLM의 activation outlier들이 발생하여 성능이 급격히 하락하는 것을 알 수 있다. 이를 극복하기 위해 Activation에서 발생하는 양자화 문제를 일부 Weight로 이동시킴.smo..

1. Transformer basics1) Pre-Transformer* RNNsRNN 계열 모델의 경우 Bi-direction일 경우는 discriminate task로 encoding역할을 하고, Uni-direction일 경우는 generative task로 decoding의 역할을 한다.  token간의 의존성 때문에 병렬처리가 어렵다는 단점이 있었고, input size가 커질수록 정해진 hidden dim에 정보를 compressive하게 저장하는 것이 어려웠다. 또 n번째 state를 알기 위해서는 n-step의 forward process를 거쳐야하므로 parallelism의 한계점이 존재한다. * CNNs CNN의 경우는 한번의 KERNEL 연산에서 인접한 KERNEL SIZE만큼의 to..

MIT Song Han 교수님의 EfficientML 강의를 듣고 배운 내용을 정리하기 위한 포스팅이다.  Instructor: Prof. Song HanSlides: https://efficientml.ai Course - MIT HAN LabCourse collection of MIT HAN Lab.hanlab.mit.eduPrimitive operationshow human designs NN?group conv, depthwise convReduce parameters and MACsClassic building blocksMobileNet은 계산량을 줄이기 위해 Depthwise Separable Convolution을 사용Depthwise Convolution은 각 채널별로 독립적인 필터를 적..

MIT Song Han 교수님의 EfficientML 강의를 듣고 배운 내용을 정리하기 위한 포스팅이다.  Instructor: Prof. Song HanSlides: https://efficientml.ai Course - MIT HAN LabCourse collection of MIT HAN Lab.hanlab.mit.eduk-mean-based는 storage를 아낄 수 있는데 이는 LLAMA2랑 HW2에서 확인할 수 있음.LINEAR의 경우는 저장공간도 계산도 효율적으로 할 수 있음. Post-Training Quantization (PTQ)Quantization GranularityPer-Channel Weight Quantizationscaling factor와 bias가 channel별로 다..

MIT Song Han 교수님의 EfficientML 강의를 듣고 배운 내용을 정리하기 위한 포스팅이다.  Instructor: Prof. Song Han Slides: https://efficientml.ai Course - MIT HAN LabCourse collection of MIT HAN Lab.hanlab.mit.edu Intro Quantization : continuous signal을 Discrete signal로 변환하는 것.fewer number of choices를 주고 표현하도록 하는 것을 의미함. 위 그림에서처럼 16개의 팔레트를 지정하고 그 색들로 모든 이미지 픽셀을 설명하는 것이라고 볼 수 있다.  Motivation? 저장용량을 cheaper, memory reference..