[TensorFlow] TensorBoard 로 딥러닝 모델 학습 시각화하기 (TensorFlow Visualization)
Deep Learning (TF, Keras, PyTorch)/TensorFlow basics 2020. 8. 22. 20:23지난번 포스팅에서는 TensorFlow 2.x 버전의 Keras를 사용하여 MNIST 손글씨를 분류하는 간단한 DNN (Deep Neural Network) 모델을 만드는 방법(DNN (https://rfriend.tistory.com/553)을 소개하였습니다.
이번 포스팅에서는 TensorFlow 에서 모델을 개발하는 과정과 결과를 시각화하여 모니터링할 수 있도록 해주는 웹 기반의 시각화 툴인 TensorBoard 사용 방법을 소개하겠습니다.
아래 이미지는 https://keras.io 페이지의 Keras 소개 페이지에 나오는 내용인데요, Keras로 쉽고 빠르게 딥러닝 모델을 만들어서 실험하고, 여러개의 모델 실험 결과를 TensorBoard 를 사용해서 시각화하여 확인하면서 "생각의 속도로 반복(Iterate at the speed of though)" 하라고 하네요!
TensorBoard 를 사용하면 다수의 모델 각 각 별로 쉽고 빠르게
- TensorFlow, Keras 로 만든 모델 구조의 그래프(Graphs)를 시각화
--> 모델의 그래프가 의도한 설계와 일치하는지 확인
--> op-level 그래프를 통해 TensorFlow가 프로그램을 어떻게 이해하고 있는지 확인
- TensorFlow, Keras 로 만든 모델의 학습 과정/ 결과 (Epoch 별 정확도, 손실값)를 그래프로 시각화
- 활성화와 경사를 히스토그램으로 시각화
- 3D로 Embedding 탐색
을 할 수 있습니다.
TensorBoard 사용 예를 들기 위하여
(1) Keras로 Fashion MNIST 데이터를 분류하는 Dense 모델 구축
(2) Keras TensorBoard callback 을 포함하여 모델 학습 (Train the model with TensorBoard callback)
(3) TensorBoard 를 실행하여 모델 학습 과정/결과 시각화
의 순서대로 소개를 하겠습니다.
(1) Keras로 Fashion MNIST 데이터를 분류하는 Dense 모델 구축 |
먼저 TensorFlow와 TensorBoard 를 importing 하고 버전을 확인해보겠습니다. TensorFlow 2.3.0 버전이므로 Keras를 따로 importing 할 필요는 없습니다.
import tensorflow as tf tf.__version__
import tensorboard tensorboard.__version__ [Out] '2.3.0' |
이번 포스팅의 목적은 TensorBoard 사용법을 소개하는 것이므로 Fashion MNIST의 Training set 만을 로딩해보겠습니다. (Test set 은 사용 안 함.)
(train_images, train_labels), _ = tf.keras.datasets.fashion_mnist.load_data() train_images = train_images / 255.0 # normailization (0 ~ 1) print('shape of train images:', train_images.shape) print('shape of train labels:', train_labels.shape) [Out]shape of train images: (60000, 28, 28)
shape of train labels: (60000,)
|
모델 코드는 https://www.tensorflow.org/tensorboard/graphs 페이지에서 소개하는 DNN 매우 간단한 Keras 코드를 그대로 사용하였습니다. 1개의 Dense 은닉층, Dropout 층, 그리고 10개의 classes별 확률을 반환하는 Output 층을 순서대로 쌓아서(sequential stack of layers) 딥러닝 모델을 구축하였습니다.
그리고 최적화 알고리즘, 손실함수, 평가지표를 설정해서 모델을 컴파일 해주었습니다.
# Define the model model = tf.keras.models.Sequential([ tf.keras.layers.Flatten(input_shape=(28, 28)), tf.keras.layers.Dense(32, activation='relu'), tf.keras.layers.Dropout(0.2), tf.keras.layers.Dense(10, activation='softmax') ]) # Compile the model model.compile( optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy']) |
여기까지는 지난번 포스팅에서 소개했던 Keras로 모델 구축하고 컴파일하는 방법과 동일하구요, 이제 (2)번 부터 TensorBoard를 이용하기 위해서 추가로 수고를 해줘야 하는 부분입니다.
(2) Keras TensorBoard callback을 포함하여 모델 학습 (Train the model with Keras TensorBoard callback) |
(2-1) 먼저, Keras TensorBoard callback 을 정의해줍니다.
"./logs/"의 하위경로에 모델을 훈련시키는 시점의 "년월일-시간분초(%Y%m%d-%H%M%S)" 를 이름으로 가지는 하위 폴더를 추가하여 Log를 저장해줄 경로(log_dir)를 지정해주겠습니다. (모델을 여러개 구축하여 실험할 경우 버전 구분/ 관리 용도)
# Define the Keras TensorBoard callback. from datetime import datetime logdir="logs/" + datetime.now().strftime("%Y%m%d-%H%M%S") tensorboard_callback = tf.keras.callbacks.TensorBoard(log_dir=logdir) |
현재 작업하는 경로는 os 라이브러리의 os.getcwd() 메소드로 확인할 수 있습니다. 저의 경우는 Keras TensorBoard callback 의 로그 저장 경로가 "/Users/ihongdon/Documents/TensorFlow/logs/20200822-181251" 가 되겠군요.
import os os.getcwd()
logdir [Out] 'logs/20200822-181251'
|
(2-2) 다음으로, 위의 (2-1)에서 정의한 Keras TensorBoard callback 을 지정(아래의 빨간색 부분)하여 모델을 훈련(training, fitting) 시킵니다.
# Train the model. model.fit( train_images, train_labels, batch_size=64, epochs=5, callbacks=[tensorboard_callback]) Out[6]:
|
(3) TensorBoard 를 실행하여 모델 학습 과정/결과 시각화 (TensorFlow Visualization) |
이제 TensorBoard 를 실행시켜서 위의 (2)번에서 학습하고 있는 (혹은 학습이 끝난) 모델을 시각화하여 눈으로 직접 그래프와 손실값/정확도를 확인을 해보겠습니다.
(3-1) 명령 프롬프트(commamd prompt) 창을 열어주세요.
(위의 (1)번과 (2)번은 Jupyter Notebook에서 실행, 여기 (3)번은 명령 프롬프트 창에서 실행)
(3-2) 그리고 Anaconda 가상환경들 중에서 하나를 선택해서 활성화시켜주세요.
* Mac OS 의 경우 --> % source activate [virtual_env_name] * Windows OS 의 경우 --> % activate [virtual_env_name]
|
(3-3) 명령 프롬프트 창에서 가상환경에 들어왔으면, 앞의 (2-1)에서 정의했던 TensorBoard 의 로그 경로를 지정해서 TensorBoard를 실행시킵니다.
% tensorboard --logdir= [TensorBoard Log 저장 경로] |
아래의 명령 프롬프트 화면캡쳐한 이미지의 제일 마지막 줄을 보면 "http://localhost:6006/" 의 웹 주소에서 TensorBoard 를 볼 수 있다고 안내가 나옵니다. (Localhost의 6006번 포트)
만약 6006 포트 말고 다른 포트를 사용하고 싶으면 --port=[port 번호] 식으로 명령 프롬프트 창에서 옵션 명령어를 추가해주면 됩니다.
% tensorboard --logdir= [TensorBoard Log 저장 경로] --port=9000 |
TensorBoard 를 종료하려면 명령 프롬프트 창에서 'CTRL+C' 을 눌러주면 됩니다.
*********************************************************************************************************
(3-4) 이제 Chrome이나 Firefox 같은 웹 브라우저를 열고 "http://localhost:6006/" url로 TensorBoard 에 접속해보세요.
짜잔~ TensorBoard 가 떴습니다~! 이예~!!! ^_____^
"SCALARS"와 "GRAPHS"의 두 개의 메뉴가 있는데요, 먼저 "SCARLARS" 메뉴에 들어가서 왼쪽 하단의 모델 이름 ("20200822-181251/train") 을 선택해주면 각 epoch별로 정확도(accuracy)와 손실값(loss value, 이 예에서는 categorical cross-entropy)을 선 그래프로 해서 시각화하여 볼 수 있습니다.
(이 예는 데이터도 작고, 5 epochs 밖에 안되다 보니 벌써 다 끝나있네요.)
다음으로 TensorBoard의 상단에 있는 "GRAPHS" 메뉴를 클릭해서 (1)번에서 구축한 Dense 모델의 그래프를 확인해보겠습니다.
그래프 노드의 '+' 를 클릭하면 해당 층(Layer)의 세부 그래프를 확대(Zoom In)하여 살펴볼 수 있습니다.
가령, 아래의 TensorBoard 화면캡쳐처럼 위의 상위 수준의 그래프에서 'dense' 노드의 '+'를 클릭하여 세부적인 연산 그래프를 확인해보겠습니다. 1차원으로 flatten 된 input 데이터와 weight 간의 행렬곱(MatMul) 후에, 편향을 더해주고(BiasAdd), ReLU 활성화함수를 적용하는 순서로 TensorFlow가 이해를 하고 있군요.
펼쳐진 세부 그래프 블럭을 더블 클릭해주면 다시 원래의 노드로 Zoom Out 됩니다.
* Reference: https://www.tensorflow.org/tensorboard/graphs
많은 도움이 되었기를 바랍니다.
이번 포스팅이 도움이 되었다면 아래의 '공감~
'를 꾹 눌러주세요. :-)
