Connection / Add 다르게 해서 모델 설계하기 약간 multi-task learning이랑 비슷해보여서 헷갈렸는데, Iris 데이터를 보면 sepal length / sepal width / petal length / petal width가 있다. length는 length 끼리 묶고, width는 width끼리 묶어서 모델에게 넣어주고 마지막에 모델을 붙여보자. 데이터 불러오기 import numpy as np import pandas as pd import tensorflow as tf from tensorflow import keras from sklearn.datasets import load_iris iris = load_iris() x = iris.data y = iris.targe..
CIFAR 이번엔 CIFAR - 10 데이터 써보자 flatten() 평탄화 - 말 그대로 쫙 펴주는거다. 어제 reshape로 했던 것을 그냥 코드 내부에서 flatten()으로 자동으로 처리해줄 수 있다. model.add(keras.layers.Flatten()) 그냥 얘만 추가해주면 나머지는 똑같다. 데이터 불러오기 import numpy as np import pandas as pd import matplotlib.pyplot as plt import random as rd from sklearn.metrics import accuracy_score import tensorflow as tf from tensorflow import keras 라이브러리 불러오고, (train_x, train_y..
은닉층 추가 어제 만들었던 모델에 은닉층을 추가해보자. = Hidden Layer 라이브러리를 먼저 불러와준다. from sklearn.datasets import fetch_california_housing california = fetch_california_housing() x = california.data y = california.target x.shape, y.shape# (20640,8) (20640,) import tensorflow as tf import pandas as pd import numpy as np from tensorflow import keras 어제 배운대로 모델 구조를 하나씩 쌓아가자. keras.backend.clear_session() model = keras.m..
프레임워크 선택 - Tensorflow(Keras) 보통 Tensorflow, Pytorch 둘 중 하나 쓰는데 나는 파이토치가 익숙하지만, 수업에서는 tensorflow의 keras를 써서 더 잘 됐다는 생각이 들었다. tensorflow도 연습을 할 수 있어서 일석이조다. Linear Regression / Logistic Regression import tensorflow as tf from tensorflow import keras import numpy as np 기본 라이브러리 불러오기 - colab을 사용하면 별도의 설치 필요 없이 코드로 불러와 사용할 수 있다. x = np.array(range(30)) y = x * 2 - 10 print(x) print(y) x값을 토대로 y를 예측하는..
머신러닝 머신러닝, 딥러닝 등 많이 들어봤을테지만, 머신러닝이 좀 더 큰 개념이라 생각하면 된다. 학습 방법에 따른 분류 / 과제(문제)에 따른 분류로 나눌 수 있다. 학습 방법에 따라 지도 학습 학습 대상 데이터에 정답을 라벨링하여 학습시키는 것. 비지도 학습 정답이 없는 데이터만으로 학습시키는 것. 강화 학습 선택 결과에 따라 보상을 받는 쪽으로 행동을 개선하게 하면서 학습시키는 것. 과제에 따라 분류 문제(Classification) - 지도학습 Train set - 이미 분류된 데이터로 학습을 통해 규칙을 찾고, Val set / Test set으로 새롭게 주어진 데이터를 분류 회귀 문제(Regression) - 지도학습 Train set - 결과값이 있는 데이터로 학습을 통해 입력 값 / 결과 ..
산점도 두 숫자형 변수의 관계를 나타내는 그래프 # 직선이 중요 -> 무슨 의미일까? 차차 알아가보자. 환경 준비 라이브러리를 먼저 불러오자. import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns 이번에는 뉴욕 공기 오염도 데이터셋을 사용해보자. air = pd.read_csv('https://raw.githubusercontent.com/DA4BAM/dataset/master/air2.csv') air['Date'] = pd.to_datetime(air['Date']) 산점도 플롯 plt.scatter('Temp', 'Ozone', data = air) #plt.scatter(air['Tem..
이전에 배운 숫자형 / 범주형 변수를 통해 단변량분석을 배울 수 있다. 숫자형 변수는 min, max, mean, std, 사분위수 등으로 정리 -> Histogram, Density plot, Box plot 등으로 시각화 범주형 변수는 빈도 수 / 비율 등으로 정리 -> Bar plot / Pie chart 등으로 시각화 환경 준비 단변량 분석 실습에 필요한 환경을 세팅해보자. 먼저 라이브러리를 불러오자. import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns 필요한 데이터셋을 불러오자. 유명한 데이터셋인 타이타닉이다. path = 'https://raw.githubusercontent.co..
데이터 시각화는 실무에서 정말 필수다. 발표할 때 ppt를 잘 만들어야 하듯이, 데이터를 시각화하여 한 눈에 알아볼 수 있도록 보여주는 것은 매우 중요하다. matplotlib으로 간단한 시각화에 대해 배워보자. matplotlib matplotlib은 matlab을 사용해 봤다면 쉽게 사용할 수 있는 라이브러리다. 아니어도 쉽게 배울 수 있으니 아래에서 한번 살펴보자. 환경 준비 1) 라이브러리 import pandas as pd import numpy as np import matplotlib.pyplot as plt# matplotlib의 pyplot을 불러오는 것 2) 데이터 공기 질 정보를 불러오겠다. path = 'https://raw.githubusercontent.com/DA4BAM/dat..
데이터 분석에서 흔히 시계열 데이터라는 말을 들을 수 있다. 시계열 데이터란 어떤 데이터를 의미할까? 행과 행 사이에 시간의 순서가 있고, 행과 행 사이 시간간격이 동일한 데이터를 "시계열 데이터"라 한다. 데이터 처리 시계열 데이터 처리를 연습해보자. 환경 준비 import pandas as pd import numpy as np 판다스와 넘파이를 불러와준다. sales = pd.read_csv("https://raw.githubusercontent.com/DA4BAM/dataset/master/ts_sales_simple.csv") products = pd.read_csv("https://raw.githubusercontent.com/DA4BAM/dataset/master/ts_product_mast..
AI 학습 시 데이터 전처리 등은 필수적이다. 데이터 처리에 대해 알아보자! 데이터 전처리 1) 데이터 구조 만들기 2) 모델링을 위한 전처리 데이터프레임 변경하기 데이터프레임의 column name을 변경해보자! 열 변경 - column 속성 변경 모든 열 이름을 변경할 때는 .columns에 리스트를 할당해준다. df.columns = ['total', 'day', 'time', 'month'] rename() 메소드 사용으로 딕셔너리를 활용하여 지정한 열 이름 변경이 가능하다. 단, 변경하지 않으려는 이름은 그대로 적어주어야 한다. df.rename(columns = {'total': 'total_size', 'day': 'date', 'time': 'time', 'month': 'wall'}, i..