LiJell's 성장기

Using a Recurrent Neural Network to write Patent Abstracts Introduction LSTM cell의 특정 아키텍쳐에 대해서 모든것을 이해할 필요는 없다. 사람이 할 일이 아니다. LSTM이 뜻하는 것은 과거정보다 나중에 다시 reinfected될 수 있게 해주는 것이다. 데이터 사이언스 기슬울 배우는 가장 효율적인 방법은 문제를 찾고 해결하는 것이다 Top-down approach: 다시 돌아가고 이론을 covering하기 전에 어떻게 구현해야하는지 배워보자 내가 필요한 방법을 계속 고민하고 언제 연구 컨셉으로 다시 돌아가 공부해야하는지 알아야한다. 어떤 프레임워크를 어떤 아이디어에 적용시킬지에 대한것들 등 끊임없는 고민이 필요하다. 어떻게 Keras에서 ..

Visualizing what convnets learn Deep Learning model as Blackbox Convnet은 시각적인 개념을 학습한 것 → 시각화 하기 아주 좋음 시각화에 유용한 기법 컨브넷 중간층의 출력(중간층에 있는 활성화)을 시각화 컨브넷 필터 시각화 클래스 활성화에 대한 히트맵(heatmap)을 이미지에 시각화 Visualizing Intermediate activations 어떤 입력이 주어졌을 때 네트워크에 있는 여러 합성곱과 풀링층이 출력하는 특성맵을 그 리는 것 네트워크에 의해 학습된 필터들이 어떻게 입력을 분해하는지 보여줌 넓이, 높이, 깊이(채널) 3개의 차원에 대해 특성맵을 시각화하는 것이 좋음 각 채널은 비교적 독립적 특성을 인코딩하므로 특성맵의 각 채널 내용을..

2022.03.08 - [Bigdata/TensorFlow] - Tranfer_Learning Tranfer_Learning Dogs vs. Cats Google Colab 사용 Runtime에서 TPU 사용 추천 Dogs vs Cats dataset https://www.kaggle.com/c/dogs-vs-cats/data 25000 images (12500 cats and 12500 dogs) Create dataset Training: 1000 sam.. lime-jelly.tistory.com 작은 이미지 데이터셋에 딥러닝을 적용하는 일반적이고 효과적인 방법은 사전 훈련된 네트 워크를 사용 사전 훈련된 네트워크(pretrained network) - 일반적으로 대규모 이미지 분류 문제를 위 해 ..

Dogs vs. Cats Google Colab 사용 Runtime에서 TPU 사용 추천 Dogs vs Cats dataset https://www.kaggle.com/c/dogs-vs-cats/data 25000 images (12500 cats and 12500 dogs) Create dataset Training: 1000 samples for each class Validation: 500 samples for each class Test: 500 samples for each class Training a convnet from scratch on a small dataset Prepare dataset import os, shutil original_db_dir = './train' base_..

MNIST Handwritten Digit Classification Dataset MNIST (Modified National Institute of Standard and Technology) dataset from keras.datasets import mnist from matplotlib import pyplot # load dataset (trainX, trainy), (testX, testy) = mnist.load_data() # summarize loaded dataset print('Train: X=%s, y=%s' % (trainX.shape, trainy.shape)) print('Test: X=%s, y=%s' % (testX.shape, testy.shape)) # plot fi..

CNN Fully-Connected Layer만으로 구성된 인공신경망의 입력 데이터는 1차원 형태로 한정 Flatten → Dense → 1차원 사진 데이터로 FC 신경망을 학습시키는 경우, 사진 데이터를 1차원으로 변환 → 공간정보 의 손실 → 정보 부족으로 특징 추출 및 학습이 비효율적이고 정확도를 높이는데 한계 이미지의 공간정보를 유지한 상태로 학습 가능한 모델이 CNN CNN의 특징 각 레이어의 입출력 데이터의 형상 유지 이미지의 공간 정보를 유지하면서 인접 이미지와의 특징을 효과적으로 인식 복수의 필터로 이미지의 특징 추출 및 학습 셀로판지 느낌 추출한 이미지의 특징을 모으고 강화하는 Pooling layer 필터를 공유 파라미터로 사용하기 때문에, 일반 인공 신경망과 비교하여 학습 파라미터 가..

2.1. 신경망의 구조 신경망 훈련 요소 네트워크(또는 모델)를 구성하는 층(layer) 입력 데이터와 그에 상응하는 타깃(target) 학습에 사용할 피드백 신호를 정의하는 손실함수(loss function) 학습 진행 방식을 결정하는 옵티마이저(optimizer) 2.1.1. Layer 딥러닝의 구성 단위 하나 이상의 텐서를 입력으로 받아 하나 이상의 텐서를 출력하는 데이터 처리 모듈 대부분의 경우 가중치라는 층의 상태를 가짐 가중치는 확률적 경사 하강법에 의해 학습되는 하나 이상의 텐서이며 여기에 네 트워크가 학습한 지식이 담겨 있음 층마다 적절한 텐서 포맷과 데이터 처리 방식이 다름 (samples, features) 크기의 2D텐서가 저장된 간단한 벡터 데이터는 완전 연 결층(fully conn..