[캐글 안내서] ❸캐글러들은 머신러닝 딥러닝 문제를 어떻게 풀까?

import numpy as np
import pandas as pd # 판다스 임포트

# 데이터 경로
data_path = '/kaggle/input/bike-sharing-demand/'

train = pd.read_csv(data_path + 'train.csv') # 훈련 데이터
test = pd.read_csv(data_path + 'test.csv') # 테스트 데이터
submission = pd.read_csv(data_path + 'sampleSubmission.csv') # 제출 샘플 데이터

train.shape, test.shape

((10886, 12), (6493, 9))

train.head()

train.head()

submission.head()

train.info()

RangeIndex: 10886 entries, 0 to 10885
Data columns (total 12 columns):
 #   Column      Non-Null Count  Dtype
---  ------      --------------  -----
0   datetime    10886 non-null  object
1   season      10886 non-null  int64
2   holiday     10886 non-null  int64
3   workingday  10886 non-null  int64
4   weather     10886 non-null  int64
5   temp        10886 non-null  float64
6   atemp       10886 non-null  float64
7   humidity    10886 non-null  int64
8   windspeed   10886 non-null  float64
9   casual      10886 non-null  int64
10  registered  10886 non-null  int64
11  count       10886 non-null  int64
dtypes: float64(3), int64(8), object(1)
memory usage: 1020.7+ KB

test.info()

RangeIndex: 6493 entries, 0 to 6492
Data columns (total 9 columns):
#  Column      Non-Null Count  Dtype
-------------------------------------
0  datetime    6493 non-null   object
1  season      6493 non-null   int64
2  holiday     6493 non-null   int64
3  workingday  6493 non-null   int64
4  weather     6493 non-null   int64
5  temp.       6493 non-null   float64
6  atemp.      6493 non-null   float64
7  humidity    6493 non-null   int64
8  windspeed   6493 non-null   float64
dtypes: float64(3), int64(5), object(1)
memory usage: 456.7+ KB

print(train['datetime'][100]) # datetime 100번째 원소
print(train['datetime'][100].split()) # 공백 기준으로 문자열 나누기 
print(train['datetime'][100].split()[0]) # 날짜 
print(train['datetime'][100].split()[1]) # 시간

2011-01-05 09:00:00
['2011-01-05', '09:00:00']
2011-01-05
09:00:00

print(train['datetime'][100].split()[0]) # 날짜 
print(train['datetime'][100].split()[0].split("-")) # "-" 기준으로 문자열 나누기 
print(train['datetime'][100].split()[0].split("-")[0]) # 연도 
print(train['datetime'][100].split()[0].split("-")[1]) # 월 
print(train['datetime'][100].split()[0].split("-")[2]) # 일

2011-01-05 
['2011', '01', '05']
2011
01
05

print(train['datetime'][100].split()[1]) # 시간 
print(train['datetime'][100].split()[1].split(":")) # ":" 기준으로 문자열 나누기 
print(train['datetime'][100].split()[1].split(":")[0]) # 시간 
print(train['datetime'][100].split()[1].split(":")[1]) # 분 
print(train['datetime'][100].split()[1].split(":")[2]) # 초

09:00:00
['09', '00', '00']
09
00
00

train['date'] = train['datetime'].apply(lambda x: x.split()[0]) # 날짜 피처 생성

# 연도, 월, 일, 시, 분, 초 피처를 차례로 생성
train['year'] = train['datetime'].apply(lambda x: x.split()[0].split('-')[0])
train['month'] = train['datetime'].apply(lambda x: x.split()[0].split('-')[1]) 
train['day'] = train['datetime'].apply(lambda x: x.split()[0].split('-')[2]) 
train['hour'] = train['datetime'].apply(lambda x: x.split()[1].split(':')[0]) 
train['minute'] = train['datetime'].apply(lambda x: x.split()[1].split(':')[1]) 
train['second'] = train['datetime'].apply(lambda x: x.split()[1].split(':')[2])

from datetime import datetime # datetime 라이브러리 임포트 
import calendar

print(train['date'][100]) # 날짜
print(datetime.strptime(train['date'][100], '%Y-%m-%d')) # datetime 타입으로 변경 
# 정수로 요일 반환
print(datetime.strptime(train['date'][100], '%Y-%m-%d').weekday())
# 문자열로 요일 반환 
print(calendar.day_name[datetime.strptime(train['date'][100], '%Y-%m-%d').weekday()])

2011-01-05
2011-01-05 00:00:00
2
Wednesday

train['weekday'] = train['date'].apply(
lambda dateString: 
calendar.day_name[datetime.strptime(dateString,"%Y-%m-%d").weekday()])

train['season'] = train['season'].map({1: 'Spring', 
2: 'Summer',
3: 'Fall',
4: 'Winter' }) 
train['weather'] = train['weather'].map({1: 'Clear',
2: 'Mist, Few clouds',
3: 'Light Snow, Rain, Thunderstorm',
4: 'Heavy Rain, Thunderstorm, Snow, Fog'})

train.head()

import seaborn as sns
import matplotlib as mpl
import matplotlib.pyplot as plt 
%matplotlib inline

mpl.rc('font', size=15) # 폰트 크기를 15로 설정 
sns.displot(train['count']); # 분포도 출력

sns.displot(np.log(train['count']));

mpl.rc('font', size=14) # 폰트 크기 설정
mpl.rc('axes', titlesize=15) # 각 축의 제목 크기 설정
figure, axes = plt.subplots(nrows=3, ncols=2) # 3행 2열 Figure 생성 ❶
plt.tight_layout() # 그래프 사이에 여백 확보 ❷
figure.set_size_inches(10, 9) # 전체 Figure 크기를 10x9인치로 설정 ❸

axes
array([[, ],
       [, ],
       [, ]], dtype=object) 

sns.barplot(x='year', y='count', data=train, ax=axes[0, 0])
sns.barplot(x='month', y='count', data=train, ax=axes[0, 1])
sns.barplot(x='day', y='count', data=train, ax=axes[1, 0])
sns.barplot(x='hour', y='count', data=train, ax=axes[1, 1])
sns.barplot(x='minute', y='count', data=train, ax=axes[2, 0])
sns.barplot(x='second', y='count', data=train, ax=axes[2, 1])

axes[0, 0].set(title='Rental amounts by year')
axes[0, 1].set(title='Rental amounts by month')
axes[1, 0].set(title='Rental amounts by day')
axes[1, 1].set(title='Rental amounts by hour')
axes[2, 0].set(title='Rental amounts by minute')
axes[2, 1].set(title='Rental amounts by second')

axes[1, 0].tick_params(axis='x', labelrotation=90)
axes[1, 1].tick_params(axis='x', labelrotation=90)

# 스텝 1 : m행 n열 Figure 준비
mpl.rc('font', size=14) # 폰트 크기 설정
mpl.rc('axes', titlesize=15) # 각 축의 제목 크기 설정
figure, axes = plt.subplots(nrows=3, ncols=2) # 3행 2열 Figure 생성 
plt.tight_layout() # 그래프 사이에 여백 확보 
figure.set_size_inches(10, 9) # 전체 Figure 크기를 10x9인치로 설정

# 스텝 2 : 각 축에 서브플롯 할당
# 각 축에 연도, 월, 일, 시간, 분, 초별 평균 대여 수량 막대 그래프 할당 
sns.barplot(x='year', y='count', data=train, ax=axes[0, 0]) 
sns.barplot(x='month', y='count', data=train, ax=axes[0, 1]) 
sns.barplot(x='day', y='count', data=train, ax=axes[1, 0]) 
sns.barplot(x='hour', y='count', data=train, ax=axes[1, 1]) 
sns.barplot(x='minute', y='count', data=train, ax=axes[2, 0]) 
sns.barplot(x='second', y='count', data=train, ax=axes[2, 1])

# 스텝 3 : 세부 설정
# 3-1 : 서브플롯에 제목 달기
axes[0, 0].set(title='Rental amounts by year') 
axes[0, 1].set(title='Rental amounts by month') 
axes[1, 0].set(title='Rental amounts by day')
axes[1, 1].set(title='Rental amounts by hour')
axes[2, 0].set(title='Rental amounts by minute')
axes[2, 1].set(title='Rental amounts by second')

# 3-2 : 1행에 위치한 서브플롯들의 x축 라벨 90도 회전
axes[1, 0].tick_params(axis='x', labelrotation=90)
axes[1, 1].tick_params(axis='x', labelrotation=90)

# 스텝 1 : m행 n열 Figure 준비
figure, axes = plt.subplots(nrows=2, ncols=2) # 2행 2열 
plt.tight_layout()
figure.set_size_inches(10, 10)

# 스텝 2 : 서브플롯 할당
# 계절, 날씨, 공휴일, 근무일별 대여 수량 박스플롯 ❶
sns.boxplot(x='season', y='count', data=train, ax=axes[0, 0]) 
sns.boxplot(x='weather', y='count', data=train, ax=axes[0, 1]) 
sns.boxplot(x='holiday', y='count', data=train, ax=axes[1, 0]) 
sns.boxplot(x='workingday', y='count', data=train, ax=axes[1, 1])

# 스텝 3 : 세부 설정
# 3-1 : 서브플롯에 제목 달기
axes[0, 0].set(title='Box Plot On Count Across Season')
axes[0, 1].set(title='Box Plot On Count Across Weather')
axes[1, 0].set(title='Box Plot On Count Across Holiday')
axes[1, 1].set(title='Box Plot On Count Across Working Day')

# 3-2 : x축 라벨 겹침 해결
axes[0, 1].tick_params(axis='x', labelrotation=10) # 10도 회전
axes[0, 1].set(title='Box Plot On Count Across Weather')
axes[1, 0].set(title='Box Plot On Count Across Holiday')
axes[1, 1].set(title='Box Plot On Count Across Working Day')

# 3-2 : x축 라벨 겹침 해결
axes[0, 1].tick_params(axis='x', labelrotation=10) # 10도 회전

# 스텝 1 : m행 n열 Figure 준비
mpl.rc('font', size=15)
figure, axes = plt.subplots(nrows=2, ncols=2) # 2행 2열 
plt.tight_layout()
figure.set_size_inches(7, 6)

# 스텝 2 : 서브플롯 할당
# 온도, 체감 온도, 풍속, 습도 별 대여 수량 산점도 그래프 
sns.regplot(x='temp', y='count', data=train, ax=axes[0, 0],
            scatter_kws={'alpha': 0.2}, line_kws={'color': 'blue'})
sns.regplot(x='atemp', y='count', data=train, ax=axes[0, 1],
            scatter_kws={'alpha': 0.2}, line_kws={'color': 'blue'})
sns.regplot(x='windspeed', y='count', data=train, ax=axes[1, 0],
            scatter_kws={'alpha': 0.2}, line_kws={'color': 'blue'})
sns.regplot(x='humidity', y='count', data=train, ax=axes[1, 1],
            scatter_kws={'alpha': 0.2}, line_kws={'color': 'blue'});

train[['temp', 'atemp', 'humidity', 'windspeed', 'count']].corr()

# 피처 간 상관 관계 매트릭스 ❶
corrMat = train[['temp', 'atemp', 'humidity', 'windspeed', 'count']].corr() fig, ax= plt.subplots()
fig.set_size_inches(10, 10)
sns.heatmap(corrMat, annot=True) # 상관관계 히트맵 그리기 ❷
ax.set(title='Heatmap of Numerical Data');

import pandas as pd
# 데이터 경로
data_path ='/kaggle/input/bike-sharing-demand/‘

train = pd.read_csv(data_path + 'train.csv')
test = pd.read_csv(data_path + 'test.csv')
submission = pd.read_csv(data_path + 'sampleSubmission.csv')

# 훈련 데이터에서 weather가 4가 아닌 데이터만 추출
train = train[train['weather'] != 4]

all_data_temp = pd.concat([train, test])
all_data_temp

all_data = pd.concat([train, test], ignore_index=True) 
all_data

from datetime import datetime

# 날짜 피처 생성
all_data['date'] = all_data['datetime'].apply(lambda x: x.split()[0]) # 연도 피처 생성
all_data['year'] = all_data['datetime'].apply(lambda x: x.split()[0].split('-')[0])
# 월 피처 생성
all_data['month'] = all_data['datetime'].apply(lambda x: x.split()[0].split('-')[1])
# 시 피처 생성
all_data['hour'] = all_data['datetime'].apply(lambda x: x.split()[1].split(':')[0])
# 요일 피처 생성
all_data["weekday"] = all_data['date'].apply(lambda dateString : datetime.strptime(dateString,"%Y-%m-%d").weekday())

drop_features = ['casual', 'registered', 'datetime', 'date', 'windspeed', 'month']
all_data = all_data.drop(drop_features, axis=1)

# 훈련 데이터와 테스트 데이터 나누기 ❶
X_train = all_data[~pd.isnull(all_data'count'])] 
X_test = all_data[pd.isnull(all_data['count'])]

# 타깃값 count 제거 ❷
X_train = X_train.drop(['count'], axis=1) X_test = X_test.drop(['count'], axis=1)
y = train['count'] # 타깃값 ❸

X_train.head()

import numpy as np

def rmsle(y_true, y_pred, convertExp=True): 
    # 지수변환 ❶
    if convertExp:
        y_true = np.exp(y_true) 
        y_pred = np.exp(y_pred)

    #로그 변환 후 결측값을 0으로 변환 ❷
    log_true = np.nan_to_num(np.log(y_true+1)) 
    log_pred = np.nan_to_num(np.log(y_pred+1))

    # RMSLE 계산 ❸
    output = np.sqrt(np.mean((log_true – log_pred)**2)) 
    return output

from sklearn.linear_model import LinearRegression 
linear_reg_model = LinearRegression()

log_y = np.log(y) # 타깃값 로그변환 
linear_reg_model.fit(X_train, log_y) # 모델 훈련

preds = linear_reg_model.predict(X_train)

print (f'선형 회귀의 RMSLE 값 : {rmsle(log_y, preds, True):.4f}')

선형 회귀의 RMSLE 값 : 1.0205

linearreg_preds = linear_reg_model.predict(X_test) # 테스트 데이터로 예측

submission['count'] = np.exp(linearreg_preds) # 지수변환
submission.to_csv('submission.csv', index=False) # 파일로 저장

from sklearn.linear_model import Ridge
from sklearn.model_selection import GridSearchCV from sklearn import metrics
ridge_model = Ridge()

# 하이퍼파라미터 값 목록 ❶
ridge_params = {'max_iter':[3000], 'alpha':[0.1, 1, 2, 3, 4, 10, 30, 100, 200, 300, 400, 800, 900, 1000]}

# 교차 검증용 평가 함수(RMSLE 점수 계산)
rmsle_scorer = metrics.make_scorer(rmsle, greater_is_better=False)

# 그리드서치(with 릿지) 객체 생성 ❷
    gridsearch_ridge_model = GridSearchCV(estimator=ridge_model, # 릿지 모델
            param_grid=ridge_params, # 값 목록 
            scoring=rmsle_scorer, # 평가지표
            cv=5) # 교차 검증 분할 수

log_y = np.log(y) # 타깃값 로그변환 
gridsearch_ridge_model.fit(X_train, log_y) # 훈련(그리드서치)

print('최적 하이퍼파라미터 :', gridsearch_ridge_model.best_params_) 
최적 하이퍼파라미터 : {'alpha': 0.1, 'max_iter': 3000}

# 예측
preds = gridsearch_ridge_model.best_estimator_.predict(X_train)
# 평가
print(f'릿지 회귀 RMSLE 값 : {rmsle(log_y, preds, True):.4f}')

릿지 회귀의 RMSLE 값 : 1.0205

from sklearn.linear_model import Lasso

# 모델 생성
lasso_model = Lasso()
# 하이퍼파라미터 값 목록
lasso_alpha = 1/np.array([0.1, 1, 2, 3, 4, 10, 30, 100, 200, 300, 400, 800, 900, 1000])
lasso_params = {'max_iter':[3000], 'alpha':lasso_alpha}
# 그리드서치(with 라쏘) 객체 생성
gridsearch_lasso_model = GridSearchCV(estimator=lasso_model,
                                      param_grid=lasso_params,
                                      scoring=rmsle_scorer,
                                      cv=5)
# 그리드서치 수행
log_y = np.log(y)
gridsearch_lasso_model.fit(X_train, log_y)

print('최적 하이퍼파라미터 :', gridsearch_lasso_model.best_params_)

최적 하이퍼파라미터 : {'alpha': 0.00125, 'max_iter': 3000}

# 예측
preds = gridsearch_lasso_model.best_estimator_.predict(X_train)

# 평가
print(f'라쏘 회귀 RMSLE 값 : {rmsle(log_y, preds, True):.4f}')

라쏘 회귀 RMSLE의 값 : 1.0205

from sklearn.ensemble import RandomForestRegressor 

# 모델 생성
randomforest_model = RandomForestRegressor()
# 그리드서치 객체 생성
rf_params = {'random_state':[42], 'n_estimators':[100, 120, 140]} # 1 gridsearch_random_forest_model = GridSearchCV(estimator=randomforest_model,
                                              param_grid=rf_params,
                                              scoring=rmsle_scorer,
                                              cv=5)
# 그리드서치 수행
log_y = np.log(y)
gridsearch_random_forest_model.fit(X_train, log_y)
print('최적 하이퍼파라미터 :', gridsearch_random_forest_model.best_params_)

최적 하이퍼파라미터 : {'n_estimators': 140, 'random_state': 42}

# 예측
preds = gridsearch_random_forest_model.best_estimator_.predict(X_train)

# 평가
print(f'랜덤 포레스트 회귀 RMSLE 값 : {rmsle(log_y, preds, True):.4f}') 

랜덤 포레스트 회귀 RMSLE 값: 0.1126

import seaborn as sns
import matplotlib.pyplot as plt

randomforest_preds = gridsearch_random_forest_model.best_estimator_.predict(X_
test)

figure, axes = plt.subplots(ncols=2)
figure.set_size_inches(10, 4)

sns.histplot(y, bins=50, ax=axes[0])
axes[0].set_title('Train Data Distribution')
sns.histplot(np.exp(randomforest_preds), bins=50, ax=axes[1])
axes[1].set_title('Predicted Test Data Distribution');

submission['count'] = np.exp(randomforest_preds) # 지수변환
submission.to_csv('submission.csv', index=False)