인공지능/딥러닝 (6) 썸네일형 리스트형 CIFAR 100 데이터셋 이미지로 저장하는 방법 기본 적인 방법은 CIFAR 10과 동일하나 몇 가지 다른 점이 있습니다. https://mindw96.tistory.com/9 CIFAR 10 데이터셋 이미지로 저장하는 방법 Tensor Flow나 PyTorch을 사용한 데이터셋 형태가 아니라 각각의 개별 이미지가 필요해서 작성한 코드를 공유 합니다. 순서는 1. https://www.cs.toronto.edu/~kriz/cifar-10-python.tar.gz 이곳에서 파일을 받고.. mindw96.tistory.com https://www.cs.toronto.edu/~kriz/cifar-100-python.tar.gz 에서 파일 저장 후 원하는 곳에 압축 해제 압축 해제 한 곳에서 첨부한 py 파일을 실행 혹은 아래의 코드를 실행 (numpy 설치.. CIFAR 10 데이터셋 이미지로 저장하는 방법 Tensor Flow나 PyTorch을 사용한 데이터셋 형태가 아니라 각각의 개별 이미지가 필요해서 작성한 코드를 공유 합니다. 순서는 1. https://www.cs.toronto.edu/~kriz/cifar-10-python.tar.gz 이곳에서 파일을 받고 원하는 폴더에 압축 해제 2. 압축 해제 한 곳에서 첨부한 py 파일을 실행 혹은 아래의 코드를 실행 (numpy 설치는 필수 입니다.) import numpy as np from PIL import Image import os import pickle def unpickle(file): with open(file, 'rb') as fo: dict = pickle.load(fo, encoding='bytes') return dict with op.. OpenCV로 실시간 웹캠 이미치 처리시 문제점 논문 제출 시 추가적인 자료로 데모 영상을 제출하기 위해서 웹캠을 통해서 실시간으로 이미지 처리를 하려고 OpenCV를 활용해봤다. 문제는 어떤 걸 찍든지 하나의 클래스로만 분류를 하는 점이었다. 처음에는 오버피팅을 의심했으나 웹캠에 찍힌 이미지로 테스트를 해보면 잘 됐다. 그래서 원인을 분석해본 결과 OpenCV의 버그였다. 기존 While문 안에서 Frame별 이미지를 Tensor로 전환하여 모델에 전달했던 방법에서 Frame별 이미지를 우선 cv2.imwrite로 저장하고 그걸 PIL로 불러와서 Tensor로 전환하여 모델에 전달했더니 잘 작동했다. 정확한 원인은 모르지만 cv2.videocapture의 Frame 값이 정상적인 값은 아닌것같다. 현재 버전(4.5.4.58)만의 문제인지는 모르겠으나.. Jupyter Notebook 전용 Data Spell 출시 https://www.jetbrains.com/ko-kr/dataspell/ JetBrains DataSpell: 데이터 과학용 IDE www.jetbrains.com Pychram, Intelli J로 유명한 Jetbrains에서 Jupyter Notebook 전용 IDE인 DataSpell을 새롭게 출시했습니다. 아직은 테스트 버전으로 정식 출시가 아니기 때문에 버그가 많지만 IDE가 나올 만큼 Jupyter Notebook을 사용하는 유저들이 많아졌고 그만큼 인공지능과 데이터 사이언스에 대한 관심과 사용이 많아졌다는 거겠죠 상세 기능을 보면 데이터 사이언스에 더 초점을 맞춘 IDE 같습니다. ipynb, R, SQL을 다루어야 하는 작업 시에 매우 유용해 보입니다. 다음은 제가 직접 설치해보고 사용.. NotJSONError('Notebook does not appear to be JSON: \'{\\n "cells": [\\n {\\n "cell_type": "c...') 해결 방법 Ipynb로 모델을 학습시키고 퇴근했는데 출근하니 컴퓨터가 재부팅되어 있었다. 그래서 살펴보려고 ipynb 파일을 다시 실행하려고하니 pychram, vscode, jupyter notebook 모두 실행이 안됐다. 찾아보니 원인은 특정 cell의 output 값이 너무 많아서 cache가 너무 크거나 하는 등의 이유로 컴퓨터가 재부팅됐고 그 과정에서 ipynb 파일 자체가 손상이 되어서 정상적으로 실행이 안되는 문제이다. 해결법으로는 1. 새로운 ipynb 파일을 만든다. 2. 실행이 안되는 ipynb 파일과 새로 만든 ipynb 파일을 메모장으로 실행한다. 3. 메모장으로 연 새로 만든 ipynb 파일의 내용 가장 아래에 있는 "outputs" 부분부터 끝까지를 복사 한 후 열리지않는 ipynb 파일.. CUDA_ERROR_LAUNCH_FAILED 해결법 LSTM을 2개 연속으로 사용하려니 이러한 오류가 떴습니다. "CUDA_ERROR_LAUNCH_FAILED: unspecified launch failure" 배치사이즈를 줄이거나 그래픽 카드 드라이버를 업데이트 해도 안됐는데 배치사이즈를 64에서 128로 오히려 늘리니까 해결 됐습니다. 이전 1 다음
