[Deep Learning, Pytorch] Autograd
torch 의 자동미분(autograd)에 대해 알아보자.
Posts by Category
- deep_learning 20
- data_structure-algorithm 19
- math 14
- network 13
- os 13
- MLOps-basic 10
- troubleshooting 9
- loss 9
- object_detection 9
- cnn 8
- classification 8
- segmentation 8
- optimization 7
- torch 7
- ocr 6
- generative 5
- activation 4
- data_centric 4
- rnn 2
- hardware 2
- metric 2
- training 2
- diary 1
- transformer 1
- data_processing 1
deep_learning
[Deep Learning] MLP 구현 (3)
공부한 것을 종합하여 MLP 를 Pytorch 로 구현하고 Classification 을 해보자.
[Deep Learning, d2l] MLP 구현 (2)
MLP 를 Pytorch 로 구현해보자.
[Deep Learning, d2l] MLP 구현 (1)
MLP 를 Pytorch 로 구현해보자.
[Deep Learning, Optimization] Bias 와 Variance
Bias 와 Variance 에 대해 알아보자
[Deep Learning, Pytorch] Custom Dataset 및 DataLoader 제작
torch 에서 제공하는 Dataset 및 DataLoader 를 사용하여 Custom 해보자.
[Deep Learning, Pytorch] Custom Model 제작
torch 를 이용하여 Custom Model 을 제작하는데 필요한 기술들을 정리해보자.
[Deep Learning, d2l] MLP (Multi Layer Perceptron) (5)
Dropout 에 대해 알아보자
[Deep Learning, d2l] MLP (Multi Layer Perceptron) (4)
Deep Learning 에서의 Generalization 에 대해 알아보자
[Deep Learning, d2l] MLP (Multi Layer Perceptron) (3)
Weight Initialization 에 대해 알아보자
[Deep Learning, d2l] MLP (Multi Layer Perceptron) (2)
Forward & Back Propagation, Computational Graph 에 대해 알아보자
[Deep Learning, d2l] MLP (Multi Layer Perceptron) (1)
Multi Layer Perceptron 에 대해 알아보자
[Deep Learning, d2l] Linear Neural Networks for Classification (3)
Environment and Distribution Shift 에 대해 알아보자
[Deep Learning, d2l] Linear Neural Networks for Classification (2)
Classification 에서의 Generalization 에 대해 알아보자
[Deep Learning, d2l] Linear Neural Networks for Classification (1)
Logistic Regression, Softmax Regression 에 대해 자세히 알아보자
[Deep Learning, d2l] Linear Neural Networks for Regression (3)
Weight Decay 에 대해 알아보자.
[Deep Learning, d2l] Linear Neural Networks for Regression (2)
Generalization 에 대해 알아보자.
[Deep Learning, d2l] Linear Neural Networks for Regression (1)
선형 회귀(Linear Regression)에 대해 알아보자.
[Deep Learning] Deep Learning, Neural Network (2)
UAT 를 통해 딥러닝을 공부하는 이유에 대해 생각해보자
[Deep Learning] Deep Learning, Neural Network (1)
Neural Network(NN)에 대해 알아보자
data_structure-algorithm
[Algorithm] 19. Graphs - Markov Chain
마르코프 체인에 대해 알아보자
[Algorithm] 18. Graphs - Hamilton Path
해밀턴 경로, 해밀턴 회로에 대해 알아보자
[Algorithm] 17. Graphs - Euler Path
오일러 경로, 오일러 회로에 대해 알아보자
[Algorithm] 16. Sliding Window
슬라이딩 윈도우 알고리즘에 대해 알아보자
[Algorithm] 15. Lowest Common Ancestor(LCA)
최소 공통 조상 알고리즘에 대해 알아보자
[Algorithm] 14. Trie
트라이에 대해 알아보자
[Algorithm] 13. Tree
트리 알고리즘에 대해 알아보자
[Algorithm] 12. 기타 알고리즘
소수 판별 알고리즘, 투 포인터, 구간합에 대해 알아보자
[Algorithm] 11. Graphs - Topological Sort
위상 정렬에 대해 알아보자
[Algorithm] 10. Graphs - Minimum Spanning Tree(MST)
최소 신장 트리에 대해 알아보자
[Algorithm] 9. Graphs - Union Find
서로소 집합에 대해 알아보자
[Algorithm] 8. Shortest Path
최단경로 알고리즘에 대해 알아보자
[Algorithm] 7. Dynamic Programming
DP 에 대해 알아보자
[Algorithm] 6. Binary Search
이진탐색 알고리즘에 대해 알아보자
[Algorithm] 5. Sorting Algorithm
정렬 알고리즘에 대해 알아보자
[Algorithm] 4. Priority Queue
우선순위 큐에 대해 알아보자
[Algorithm] 3. DFS & BFS
DFS, BFS 알고리즘에 대해 알아보자
[Algorithm] 2. Brute Force
완전탐색 알고리즘에 대해 알아보자
[Algorithm] 1. Greedy Algorithm
그리디 알고리즘에 대해 알아보자
math
[AI Math, Optimization] Gradient, Jacobian 및 Hessian
최적화에 사용되는 gradient, jacobian, hessian 에 대해 비교해보자.
[Loss, AI Math] Variational Inference
Variational Inference(VI) 에 대해 알아보자.
[AI Math] 12. RNN 연산
RNN 연산과정을 정리해보자.
[AI Math] 11. CNN 연산
CNN 연산과정을 정리해보자.
[AI Math] 10. KL divergence 와 JSD
KL-div 와 JSD 에 대해 이해해보자.
[AI Math] 9. 정보이론, 엔트로피
정보이론의 관점에서 엔트로피를 정리해보자.
[AI Math] 8. Frequentist vs. Bayesian 딥러닝
빈도주의 딥러닝과 베이지안 딥러닝에 대해 정리해보자.
[AI Math] 7. 베이즈 통계학
베이즈 통계학에 대해 알아보자
[AI Math] 6. 베이즈 정리
베이즈 정리에 대해 알아보자
[AI Math] 5. 통계
딥러닝을 위한 통계를 정리해보자
[AI Math] 4. 확률
딥러닝을 위한 확률론을 정리해보자
[AI Math] 3. Deep Learning 학습방법
딥러닝의 학습방법을 정리해보자
[AI Math] 2. 경사하강법
경사하강법(gradient descent)과 딥러닝 학습방법을 정리해보자
[AI Math] 1. 선형대수 for Deep Learning
벡터와 행렬에 대해 정리해보자
network
[Network] 13. Websocket, WebRTC
Websocket, WebRTC 에 대해 알아보자
[Network] 12. SSH, VPN
SSH, VPN 에 대해 알아보자
[Network] 11. Web & HTTP
HTTP 에 대해 알아보자
[Network] 10. 넷마스크, 서브넷, 서브넷마스크, CIDR, 서브네팅
넷마스크, 서브넷, 서브넷마스크, CIDR, 서브네팅에 대해 알아보자
[Network] 9. 포트, 게이트웨이
포트와 게이트웨이에 대해 알아보자
[Network] 8. 라우터, 로드밸런서
라우터와 로드밸런서에 대해서 알아보자
[Network] 7. 네트워크
네트워크에 대해 더 자세히 알아보자
[Network] 6. 통신의 종류
통신의 종류에 대해 알아보자
[Network] 5. ARP, TCP, UDP
ARP, TCP, UDP에 대해 알아보자.
[Network] 4. IP (Internet Protocol)
IP에 대해 알아보자.
[Network] 3. 프로토콜(Protocol), 프로토콜 데이터 단위(PDU, Protocol Data Unit)
프로토콜과 PDU에 대해 알아보자.
[Network] 2. TCP/IP 4계층
TCP/IP 4계층에 대해 알아보자.
[Network] 1. OSI 7계층
OSI 7계층에 대해 알아보자.
os
[OS] 13. Python GC, GIL, Process, Thread
파이썬의 os 관련 개념에 대해 알아보자
[OS] 12. 가상메모리
가상메모리에 대해 알아보자
[OS] 11. CPU Bound, I/O Bound
CPU Bound, I/O Bound 에 대해 알아보자
[OS] 10. 물리 메모리 관리
물리 메모리 관리에 대해 알아보자
[OS] 9. 교착 상태(Deadlock)
교착 상태에 대해 알아보자
[OS] 8. 공유 자원과 임계구역
공유 자원과 임계구역에 대해 알아보자
[OS] 7. 프로세스 간 통신(IPC)
IPC 에 대해 알아보자
[OS] 6. CPU 스케줄링
CPU 스케줄링에 대해 알아보자
[OS] 5. 스레드
스레드에 대해 알아보자
[OS] 4. 프로세스
프로세스에 대해 알아보자
[OS] 3. 컴퓨터 성능 향상 기술
컴퓨터 성능 향상 기술에 대해 알아보자
[OS] 2. 하드웨어의 구성
하드웨어에 대해 알아보자
[OS] 1. 운영체제(OS)의 구조
OS 의 구조에 대해 알아보자
MLOps-basic
[MLOps] 10. End-to-End MLOps Workflow
지금까지를 종합하여 End-to-End MLOps Workflow 에 대해 알아보자
[MLOps] 9. Data & Model Management
MLOps 핵심 프로세스 중 Data & Model Management 에 대해 알아보자
[MLOps] 8. Continuous Monitoring
MLOps 핵심 프로세스 중 Continuous Monitoring 에 대해 알아보자
[MLOps] 7. Prediction Serving
MLOps 핵심 프로세스 중 Prediction Serving 에 대해 알아보자
[MLOps] 6. Model Deployment
MLOps 핵심 프로세스 중 Model Deployment 에 대해 알아보자
[MLOps] 5. Continuous Training
MLOps 핵심 프로세스 중 Continuous Training 에 대해 알아보자
[MLOps] 4. Training Operationalization
MLOps 핵심 프로세스 중 Training Operationalization 에 대해 알아보자
[MLOps] 3. ML Development
MLOps 핵심 프로세스 중 ML Development 에 대해 알아보자
[MLOps] 2. MLOps lifecycle and core capabilities
‘Practitioners guide to MLOps: A framework for continuous delivery and automation of machine learning’ by Google Cloud
[MLOps] 1. MLOps 란?
구글 클라우드의 ‘MLOps: Continuous delivery and automation pipelines in machine learning’ 를 통해 MLOps 에 대해 알아보자
troubleshooting
[Trouble Shooting] Scikit-learn
대표적인 ML 라이브러리인 Scikit-learn 에 대해 정리해보자.
[Trouble Shooting] Pandas
대표적인 데이터 처리 라이브러리인 Pandas 에 대해 정리해보자.
[Data Processing, Trouble Shooting] Pandas & Polars
데이터 처리 라이브러리 Pandas 와 Polars 에 대해 정리해보자.
[Trouble Shooting] 유튜브 크롤링 및 Mac 터미널
사이드 프로젝트를 진행하면서 해결한 문제상황에 대해 정리해보자.
[Loss, Trouble Shooting] Cross Entropy Loss vs. NLL Loss
Cross Entropy Loss 와 NLL Loss 를 비교해보자.
[Pytorch, Trouble Shooting] Array/Tensor, Indexing & Slicing, Axis, Shape
numpy, torch 의 array/tensor, indexing & slicing, axis, Shape 에 대해 자세히 알아보자.
[Trouble Shooting] Visualization with Matplotlib & Seaborn
데이터 시각화를 위한 Matplotlib 과 Seaborn 에 대해 알아보자.
[Trouble Shooting] Sympy
Python 에서 도함수를 쉽게 구할 수 있는 Sympy 라이브러리에 대해 알아보자.
[Trouble Shooting] WX + b vs. XW + b
왜 머신러닝/딥러닝 교재들과 딥러닝 프레임워크의 표현식이 다를까?
loss
[Loss, Trouble Shooting] Cross Entropy Loss vs. NLL Loss
Cross Entropy Loss 와 NLL Loss 를 비교해보자.
[Loss] Visualizing the Loss Landscape of Neural Nets
loss surface 를 통해 insight 를 얻는 논문을 리뷰해보자
[Loss] Wasserstein distance
손실함수로 사용되는 Wasserstein distance 에 대해 알아보자
[Loss, AI Math] Variational Inference
Variational Inference(VI) 에 대해 알아보자.
[Loss] KL-divergence, JSD
손실함수로 사용되는 KL-divergence, JSD 에 대해 알아보자
[Loss] Cross Entropy
분류 문제에서 사용되는 Cross Entropy 에 대해 알아보자
[Loss] MSE, MAE, Huber
회귀 문제에서 사용되는 MSE 와 MAE, Huber 에 대해 알아보자
[Loss] MLE, MAP
MLE, MAP 에 대해 알아보자
[Loss] Loss function
손실함수에 대해 알아보자
object_detection
[Object Detection] 9. Object Detection Competition
대회 등에서 Object Detection 을 사용하는 것에 대해 알아보자.
[Object Detection] 8. Advanced Object Detection (2)
Cascade RCNN, DETR, Swin 등에 대해 알아보자.
[Object Detection] 7. Advanced Object Detection (1)
Cascade RCNN, DETR, Swin 등에 대해 알아보자.
[Object Detection] 6. EfficientDet
Efficient 에 대해 알아보자.
[Object Detection] 5. 1 Stage Detectors
Object Detection Model 중 1 Stage Detector 에 대해 알아보자.
[Object Detection] 4. Neck
Object Detection 모델 구조의 Neck 에 대해 알아보자.
[Object Detection] 3. MMdetection
Object Detection Library MMdetection 에 대해 알아보자.
[Object Detection] 2. 2 Stage Detectors
Object Detection Model 중 2 Stage Detector 에 대해 알아보자.
[Object Detection] 1. Object Detection Overview
Object Detection 에 대해 알아보자.
cnn
[CNN] 8. Bag of Tricks for CNN
CNN 에서 Accuracy 와 학습 속도를 개선시키는 Trick 들에 대해 알아보자
[CNN] 7. CNN Applications
CNN 을 활용한 다양한 Applications 대해 알아보자
[CNN] 6. 여러가지 Convolution 연산
다양한 convolution 연산 방법에 대해 알아보자.
[CNN] 5. Network In Network
Network In Network(2013) 에 대해 알아보자.
[CNN] 4. CNN Visualization
CNN 시각화에 대해 알아보자.
[CNN] 3. CNN 의 구조와 parameter
CNN 의 구조와 Convolution 연산의 파라미터 수에 대해 알아보자
[CNN] 2. Convolutional Neural Network(CNN)
CNN 에 대해 자세히 알아보자
[CNN] 1. Computer Vision Task
Computer Vision 에 대해 대략적으로 알아보자
classification
[Image Classification] 8. EfficientNet
EfficientNet(2019) 에 대해 알아보자.
[Image Classification] 7. SENet
SENet(2018) 에 대해 알아보자.
[Image Classification] 6. DenseNet
DenseNet(2017) 에 대해 알아보자.
[Image Classification] 5. ResNet
ResNet(2015) 에 대해 알아보자.
[Image Classification] 4. GoogLeNet
GoogLeNet(2014) 에 대해 알아보자.
[Image Classification] 3. VGGNet
VGGNet(2014) 에 대해 알아보자.
[Image Classification] 2. ZFNet
ZFNet(2013) 에 대해 알아보자.
[Image Classification] 1. AlexNet
AlexNet(2012) 에 대해 알아보자.
segmentation
[Segmentation] 8. Semantic Segmentation 연구 동향
WSSS 에 대해 알아보자.
[Segmentation] 7. SegFormer
SegFormer 에 대해 알아보자.
[Segmentation] 6. HRNet
HRNet 에 대해 알아보자.
[Segmentation] 5. Segmentation for competition
대회 등에서 사용하는 Segmentation 에 대해 알아보자.
[Segmentation] 4. U-Net 계열의 모델들
High Performance 를 자랑하는 U-Net 계열의 모델들에 대해 알아보자.
[Segmentation] 3. FCN 의 한계를 극복한 모델들 (2)
DeepLab v2, PSPNet, DeepLab v3, DeepLab v3+ 에 대해 알아보자.
[Segmentation] 2. FCN 의 한계를 극복한 모델들 (1)
DeconvNet, SegNet, FCDenseNet, UNet, DeepLab v1, DilatedNet 에 대해 알아보자.
[Segmentation] 1. Segmentation Overview
Segmentation 에 대해 알아보자.
optimization
[AI Math, Optimization] Gradient, Jacobian 및 Hessian
최적화에 사용되는 gradient, jacobian, hessian 에 대해 비교해보자.
[Deep Learning, Optimization] Bias 와 Variance
Bias 와 Variance 에 대해 알아보자
[Optimization] Local Minima
최적화 과정에서 발생하는 Local Minima에 대해 알아보자
[Optimization] Convexity, Smoothness, Strong-convex
최적화 과정에서 자주 사용하는 함수 성질들에 대해 알아보자
[Optimizer] Optimizer
대표적인 Optimizer 들에 대해 알아보자
[Regularization] Regularization
Optimization 중 Regularization 에 대해서 알아보자
[Optimization] Optimization for DL
Optimization 에 대해 알아보자
torch
[Deep Learning, Pytorch] Autograd
torch 의 자동미분(autograd)에 대해 알아보자.
[Pytorch, Hardware] Pytorch 학습 관련 Tip
torch 를 이용한 학습에서 사용할 수 있는 Tip 에 대해 알아보자.
[Deep Learning, Pytorch] Custom Dataset 및 DataLoader 제작
torch 에서 제공하는 Dataset 및 DataLoader 를 사용하여 Custom 해보자.
[Deep Learning, Pytorch] Custom Model 제작
torch 를 이용하여 Custom Model 을 제작하는데 필요한 기술들을 정리해보자.
[Pytorch] Pytorch 자주 사용하는 함수
torch 애서 자주 사용하는 함수에 대해 자세히 알아보자.
[Pytorch, Trouble Shooting] Array/Tensor, Indexing & Slicing, Axis, Shape
numpy, torch 의 array/tensor, indexing & slicing, axis, Shape 에 대해 자세히 알아보자.
[Pytorch] Pytorch 기본 및 Tensor 연산
Pytorch 이란 무엇인지 알아보고 기본 세팅과 Tensor 연산에 대해 자세히 알아보자.
ocr
[OCR] 6. Bag of Tricks for OCR
OCR 글자 영역 검출 모델을 학습시킬 때 사용할 수 있는 기술들에 대해 알아보자
[OCR] 5. Metric for OCR
OCR task 관련 성능 평가 지표에 대해 알아보자
[OCR] 4. Data for OCR
OCR task 관련 데이터에 대해 알아보자
[OCR] 3. Advanced Text Detection
좀 더 개선된 OCR 글자 영역 검출에 대해 알아보자
[OCR] 2. Text Detection
OCR 에서의 글자 영역 검출에 대해 알아보자
[OCR] 1. OCR(Optical Character Recognition)
OCR에 대해 알아보자
generative
[Generative] Variational Auto-Encoder
VAE 에 대해 알아보자.
[Generative] Auto-regressive Model
Auto-regressive Model 에 대해 알아보자.
[Generative] Generative Adversarial Network
GAN 에 대해 알아보자.
[Generative] Generative Model Part 2
Generative Model 에 대해 개괄적으로 알아보자.
[Generative] Generative Model Part 1
Generative Model 에 대해 개괄적으로 알아보자.
activation
[Activation] 4. Swish, Mish, SwiGLU, GEGLU
Swish, Mish, SwiGLU, GEGLU 에 대해 알아보자
[Activation] 3. ELU, SELU, CELU, GELU, GLU
ELU, SELU, CELU, GELU, GLU 에 대해 알아보자
[Activation] 2. ReLU, Softplus, ReLU6, Leaky ReLU, PReLU, RReLU, Maxout
ReLU, ReLU6, PReLU, Leaky ReLU, Maxout 에 대해 알아보자
[Activation] 1. Activation Function
활성화 함수(Activation Function)와 Sigmoid, Softmax, Tanh 에 대해 알아보자
data_centric
[Data Centric] 3. Annotation Tool
Annotation Tool 들에 대해 알아보자
[Data Centric] 2. Annotation
Annotation에 대해 알아보자
[Data Centric] 1. 데이터 제작의 중요성(2)
데이터 제작의 중요성에 대해 실무적 관점에서 알아보자
[Data Centric] 1. 데이터 제작의 중요성(1)
데이터 제작의 중요성에 대해 Software 2.0 관점에서 알아보자
rnn
[RNN] 2. LSTM (Long Short-Term Memory), GRU (Gated Recurrent Unit)
LSTM 과 GRU 에 대해 알아보자
[RNN] 1. RNN(Recurrent Nueral Network)
RNN 에 대해 알아보자
hardware
[Pytorch, Hardware] Pytorch 학습 관련 Tip
torch 를 이용한 학습에서 사용할 수 있는 Tip 에 대해 알아보자.
[GPU] Deep Learning for HPC
HPC(High Performance Computing) 를 위해 Pytorch 는 무엇을 적용하고 있는지 알아보자.
metric
[Metric] 2. ROC Curve
ROC Curve 에 대해 알아보자
[Metric] 1. Accuracy, Precision, Recall, F1-score
가장 자주 볼 수 있는 Metric 에 대해 알아보자
training
[Training] Fine Tuning
Fine Tuning 에 대해 알아보자.
[Training] 딥러닝 학습 기법
여러 딥러닝 학습 기법에 대해 알아보자.
diary
🎉 2024.04.07 첫 블로그 개시 🎉
드디어 첫 블로그를 개시했다. 앞으로 내가 기록하며 공부했던 것들을 옮기면서 다시 한 번 복습하고, 새로 알게된 사실도 이 블로그에 작성하려고 한다.
transformer
[Transformer] 1. Summary of Transformer
Transformer 에 대해 먼저 간략히 알아보자
data_processing
[Data Processing, Trouble Shooting] Pandas & Polars
데이터 처리 라이브러리 Pandas 와 Polars 에 대해 정리해보자.