이번주제는 신용카드 거래가 사기거래인지, 정상거래인지 식별한다.
신용카드 회사가 사기 신용카드 거래를 인식 하여 고객이 구매하지 않은 항목에 대해서는 비용이 청구되지 않도록 하는 것이 목표다.
데이터 세트는 2일동안 발생한 거래를 보여주며, 248,807건의 거래중 492건의 사기가 있다.
데이터 세트는 매우 불균형하며 positive class(Fruad)는 모든 거래의 0.172%를 차지한다.
feature 데이터는 기밀 유지 문제로 데이터에 대한 원래 내용과 추가 배경정보는 제공하지 않는다.
변수명은 V1~ V28로 구성되어, PCA로 한번 가공된 구성요소 이다.
유일하게 변환되지 않은 변수는 '시간'과 '금액'이다.
타켓 클래스는 응답 변수이며 1이면 사기, 0이면 정상으로 구분한다.
필사한 코드는 Janio Martinez Bachmann님의 Credit Fraud || Dealing with Imbalanced Datasets 를 참고했다.
총 5가지 부분으로 나눴으며 순서는 아래와 같다.
1) 데이터 이해하기
2) 데이터 전처리
3) 랜덤 UnderSampling and OverSampling
4) 상관행렬
5) 테스팅
출처 : https://www.kaggle.com/janiobachmann/credit-fraud-dealing-with-imbalanced-datasets
신용 사기 탐지기(Credit card fraud detection)
신용 카드 회사는 사기 신용 카드 거래를 인식할 수 있으므로 고객이 구매하지 않은 항목에 대해 비용이 청구되지 않도록 하는 것이 중요하다.
이 커널에서 우리는 다양한 예측 모델을 사용하여 트랜잭션이 정상적인 결제인지 아니면 사기인지 탐지하는 데 얼마나 정확한지 확인할 것이다. 데이터 세트에 설명된 대로 기능이 확장되고 개인 정보 보호 이유로 인해 기능 이름이 표시되지 않는다. 그럼에도 불구하고, 우리는 여전히 데이터 세트의 몇 가지 중요한 측면을 분석할 수 있다.
-
목표
- 우리에게 제공된 "작은" 데이터의 작은 분포를 이해한다.
- "사기" 및 "비사기" 트랜잭션의 50/50 하위 데이터 프레임 비율을 생성한. (NearMiss 알고리즘)
- 사용할 분류기를 결정하고 정확도가 더 높은 분류기를 결정한다.
- 신경망(Neural Network)을 만들고 정확도를 최상의 분류기와 비교한다.
- 불균형 데이터셋으로 인한 일반적인 오류를 이해합니다.
-
개요
- 데이터 이해하기
- 전처리
- scaling and Distributing
- 데이터 나누기
- 랜덤 UnderSampling and Oversampling
- Distributing and Correlating
- 이상 감지(Anomaly Detection)
- Dimensionality Reduction and Clustering(t-SNE)
- 분류(Classifiers)
- 로지스틱 회귀
- SMOTE와 Oversampling
- 테스팅
- 로지스틱 회귀 테스트
- 신경망 테스트
1. 데이터 이해하기
데이터 세트에는 2013년 9월 유럽 카드 소지자가 신용카드로 만든 거래가 포함되어 있다. 이 데이터 세트는 2일 동안 발생한 거래르 보여 주며, 284,807 건의 거래 중 492건의 사기가 있었다. 데이터 세트는 매우 불균형하며 모지티브 클래스(사기)는 모드 거래의 0.172%를 차지한다.
PCA 변환 결과 인 숫자 입력 변수만 포함한다. 안타깝게도 기밀 유지 문제로 각 컬럼이 무슨 의미를 하는지는 알 수없다. PCA로 변환되지 않는 유일한 기능은 '시간'과 '양'이다. '시간'에는 각 트랜잭션과 데이터 세트의 첫번째 트랜잭션 사이에 경과 된 시간(초)이 포함된다. '금액',Amount는 거래 금액이며, 이 기능은 예에따라 비용에 민감한 학습에 사용할 수 있다.
'Class' 변수는 부정행위를 하면 1이고, 그렇지 않으면 0을 사용한다.
- 데이터 요약
- 거래 금액은 상대적으로 적고, 모든 마운트의 평균은 대략 USD 88정도 이다. NULL 값이 없으므로 대체할 방법을 찾지 않아도 된다.
- 대부분 트랜잭션은 부정행위(99.83%)가 아닌 반면 부정 행위 트랜잭션은 데이터 프레임에서 시간(0.17%)이 발생한다.
변수에 적용된 기술
- PCA : 모든 변수가 PCA(Dimensionality Reduction)변환을 거쳤다.(time, amount는 제외)
- Scaling : PCA 변환 기능을 구현하려면 이전에 Scaling을 해야 한다.# 기본 라이브러리
import numpy as np
import pandas as pd
import tensorflow as tf
import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.manifold import TSNE
from sklearn.decomposition import PCA, TruncatedSVD
import matplotlib.patches as mpatches
import time
# model 관련
from sklearn.linear_model import LogisticRegression
from sklearn.svm import SVC
from sklearn.neighbors import KNeighborsClassifier
from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import RandomForestClassifier
import collections
# 다른 라이브러리
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from imblearn.pipeline import make_pipeline as imbalanced_make_pipeline
from imblearn.over_sampling import SMOTE
from imblearn.under_sampling import NearMiss
from imblearn.metrics import classification_report_imbalanced
from sklearn.metrics import precision_score, recall_score, f1_score, roc_auc_score, accuracy_score, classification_report
from collections import Counter
from sklearn.model_selection import KFold, StratifiedKFold
import warnings
warnings.filterwarnings("ignore")
df = pd.read_csv('../data/creditcard.csv')
df.head()
# 각 컬럼의 기초 통계값 확인1
df.describe()
# null 값 체크
df.isnull().sum().max()
df.columns
print('No Frauds', round(df['Class'].value_counts()[0] / len(df) *100,2), '%of the dataset')
print('Frauds', round(df['Class'].value_counts()[1] / len(df) *100,2), '%of the dataset')
위의 데이터를 보면 원본 데이터 세트가 얼마나 불균형한지 주목해야 한다. 대부분의 거래는 사기가 아니다. 이 데이터 프레임을 예측 모델 및 분석의 기반으로 사용하면 오류가 많이 발생할 수 있으며 대부분의 트랜잭션이 부정 행위가 아니라고 "가정"하기 때문에 알고리즘이 지나치게 적합할 수 있습니다. 하지만 우리는 우리 모델이 부정행위의 징후를 보이는 패턴을 탐지하기를 원하지 않는다.
colors = ["#0101DF", "#DF0101"]
sns.countplot('Class', data=df, palette=colors)
plt.title('Class Distribution \n (0: No Fraud || 1:Fraud', fontsize=14)
분포를 보면 이러한 현상이 얼마나 치우쳐 있는지 알 수 있으며, 다른 형상의 추가 분포도 볼수 있다. 향후 이 노트북에서 구현될 배포의 왜곡을 줄이는 데 도움이 될 수 있는 기술들이 있다.
fig, ax = plt.subplots(1,2,figsize=(20,10))
amount_val = df['Amount'].values
time_val = df['Time'].values
sns.distplot(amount_val, ax=ax[0], color='r')
ax[0].set_title('Distribution of Transaction Amount', fontsize=14)
ax[0].set_xlim([min(amount_val), max(amount_val)])
sns.distplot(time_val, ax=ax[1], color='b')
ax[1].set_title('Distribution of Transaction Time', fontsize=14)
ax[1].set_xlim([min(time_val), max(time_val)])
plt.show()
2. 전처리
2.1 scaling and Distributing
커널의 이 단계에서는 먼저 time과 amount으로 구성된 열을 확장할 것입니다. time과 amount은 다른 열과 같이 조정해야 합니다. 한편, 우리는 동일한 양의 부정 행위 및 비 부정 행위 사례를 갖기 위해 데이터 프레임의 하위 샘플을 생성하여 트랜잭션이 부정 행위인지 여부를 결정하는 패턴을 더 잘 이해할 수 있도록 도와야 한다.
-
sub-Sample 이란 무엇이냐?
- 이 시나리오에서 우리의 하위 샘플은 50/50의 부정 행위 및 비사기 거래 비율을 가진 데이터 프레임이 될 것이다.
- 즉, sub-Sample은 동일한 양의 부정 행위 및 비 부정 행위 트랜잭션을 가집니다.
-
sub-Sample 을 만드는 이유는 무엇입니까? 앞에서 원본 데이터가 심하게 불균형한 것을 확인했다. 이 데이터를 그대로 사용하면 다음과 같은 문제가 발생한다.
- 과적합(overfitting): 우리의 분류 모델은 대부분의 경우 사기는 없다고 가정할 것이다. 우리가 우리 모델에 원하는 것은 사기가 발생했을 때 확실해지는 것이다.
- 잘못된 상관 관계: 주어진 변수들이 이 무엇을 의미하는지 알 수는 없지만, 클래스 및 기능 간의 실제 상관 관계를 확인할 수 없는 불균형 데이터 프레임을 통해 이러한 각 기능이 결과에 어떤 영향을 미치는지 이해하는 것이 유용할 것입니다(사기 또는 부정 행위 없음).
-
요약:
- Scaled amount과 Scaled time은 scaled value을 가진 컬럼입니다.
- 데이터 세트에 492건의 부정 행위 사례가 있으므로 492건의 부정 행위 사례를 무작위로 가져와 새로운 sub dataframe을 생성할 수 있다.
- 492건의 사기 및 비사기 사례를 연결하여 새로운 sub-sample을 생성한다.
from sklearn.preprocessing import StandardScaler, RobustScaler
# RobustScaler 가 outlier 값에 덜 노출 된다.
std_scaler = StandardScaler()
rob_scaler = RobustScaler()
df['scaled_amount'] = rob_scaler.fit_transform(df['Amount'].values.reshape(-1,1))
df['scaled_time'] = rob_scaler.fit_transform(df['Time'].values.reshape(-1,1))
# 기존 컬럼은 삭제
df.drop(['Time', 'Amount'], axis=1, inplace=True)
scaled_amount = df['scaled_amount']
scaled_time = df['scaled_time']
# 다시 dataframe 정렬
df.drop(['scaled_amount', 'scaled_time'], axis=1, inplace=True)
df.insert(0, 'scaled_amount', scaled_amount)
df.insert(1, 'scaled_time', scaled_time)
df.head()
2.2 데이터 나누기
Random UnderSampling을 적용하기 전에 원래 데이터 프레임을 분리해야 한다. 테스트 목적으로 랜덤 언더 샘플링 또는 오버 샘플링 기술을 구현할 때,데이터를 분할한다. 하지만, 이러한 기술 중 하나에 의해 생성된 데이터세트가 아닌 원래 데이터 세트에서 모델을 테스트하고자 하는 이유를 기억해야한다. 이렇게 테스트를 하는 이유는 표본이 부족했던 데이터 프레임에 모델을 적용시키고 원래 테스트 데이터에서 테스트를 진행하기 위해서이다.
from sklearn.model_selection import train_test_split
from sklearn.model_selection import StratifiedShuffleSplit
print('No Frauds', round(df['Class'].value_counts()[0]/len(df) * 100,2), '% of the dataset')
print('Frauds', round(df['Class'].value_counts()[1]/len(df) * 100,2), '% of the dataset')
X = df.drop('Class', axis=1)
y = df['Class']
sss = StratifiedKFold(n_splits=5, random_state=None, shuffle=False)
for train_index, test_index in sss.split(X,y):
print("Train:", train_index, "Test:", test_index)
original_Xtrain, original_Xtest = X.iloc[train_index], X.iloc[test_index]
original_ytrain, original_ytest = y.iloc[train_index], y.iloc[test_index]
original_Xtrain = original_Xtrain.values
original_Xtest = original_Xtest.values
original_ytrain = original_ytrain.values
original_ytest = original_ytest.values
train_unique_label, train_counts_label = np.unique(original_ytrain, return_counts=True)
test_unique_label, test_counts_label = np.unique(original_ytest, return_counts=True)
print('-'*100)
print('Label Distributions: \n')
print(train_counts_label / len(original_ytrain))
print(test_counts_label / len(original_ytest))
3. 랜덤 UnderSampling and Oversampling
프로젝트의 이 단계에서는 우리는 보다 균형 잡힌 데이터 세트를 갖기 위해 기본적으로 데이터를 제거하여 모델이 과적합 되지 않도록 하기 위해 구성된 "Random UnderSampling"을 구현할 것이다.
- 샘플링 방법
- 언더 샘플링(undersampling)
- 많은 데이터 세트를 적은 데이터 수준으로 감소 시키는 것.
- 즉, 정상 레이블을 가진 데이터 10,000건 이상 레이블을 가진 데이터가 100건이 있으면 정상 레이블 데이터를 100건으로 줄여버리는 방식.
- 단점 : 과도하게 정상 레이블로 학습/예측하는 부작용을 개선할 순 있지만, 너무 많은 데이터를 감소시키기 때문에 정상 레이블의 경우 오히려 제대로 된 학습을 수행할 수 없다.
- 오버 샘플링(oversampling)
- 이상 데이터와 같이 적은 데이터 세트를 증식하여 학습을 위한 충분한 데이터를 확보하는 방법
- 원본 데이터의 피처 값들을 아주 약간만 변경하여 증식함.
- 대표적으로 SMOTE(Synthetic Minority Over-Sampling Technique)방법이 있음.
- SMOTE: 적은 데이터 세트에 있는 개별 데이터들의 K 최근접 이웃(K Nearest Neighbor)을 찾아서 이 데이터와 K개 이웃들의 차이를 일정 값으로 만들어서 기존 데이터와 약간 차이가 나는 새로운 데이터를 생성하는 방식.
- 언더 샘플링(undersampling)
df = df.sample(frac=1)
fraud_df = df.loc[df['Class'] == 1]
non_fraud_df = df.loc[df['Class'] == 0][:492]
normal_distributed_df= pd.concat([fraud_df, non_fraud_df])
new_df = normal_distributed_df.sample(frac=1, random_state=42)
new_df.head()
3.1 Distributing and Correlating
이제 데이터 프레임의 균형이 올바르게 잡혔으므로 분석 및 데이터 사전 처리를 더 진행할 수 있다.
print('Distribution of the Classes in the subsample dataset')
print(new_df['Class'].value_counts()/len(new_df))
sns.countplot('Class', data=new_df, palette=colors)
plt.title('Equally Distribution Classes', fontsize=14)
plt.show()
'Competition > Kaggle' 카테고리의 다른 글
| [kaggle][필사] Credit Card Fraud Detection (2) (0) | 2021.02.02 |
|---|---|
| [kaggle][필사] Spooky Author Identification (0) | 2021.01.22 |
| [kaggle][필사] 2018 Data Science Bowl (0) | 2020.10.28 |