[스크랩]데이터 사이언스의 Challenge - Data Leakage

오늘 공부한 주제는 바로 데이터 누수 현상(data leakage)입니다. 

 

위 현상은 데이터 사이언스 분야의 한계로도 알려진 현상입니다. 

기사 출처

 

https://towardsdatascience.com/will-you-spot-the-leaks-a-data-science-challenge/

Will You Spot the Leaks? A Data Science Challenge | Towards Data Science

데이터 누수현상이란? 

 

• 데이터 누수는 모델 훈련 시점에는 사용할 수 있지만, 실제 예측 시점에는 사용할 수 없는 정보가 모델에 포함되어 과도하게 높은 성능을 보이는 현상을 말합니다.
• 이는 모델의 실제 성능을 과대평가하게 만들며, 실전에서의 예측 정확도를 떨어뜨릴 수 있습니다.

데이터 누수 현상의 종류

 

1. Target (Label) Leakage

예측하려는 정답(타깃 변수)에 대한 정보가 특징(feature) 안에 직접적 또는 간접적으로 포함되어 있을 때 발생하는 문제입니다.

 

① 직접 누수 (Direct Leakage)

• 타깃 변수에서 직접 계산된 특징 사용
• ❗ 예시: “연체된 날짜 수”를 이용해 대출 부도를 예측
• ✅ 해결: 해당 특징 제거

② 간접 누수 (Indirect Leakage)

• 타깃을 우회적으로 알려주는 변수 사용 (대리 변수)
• ❗ 예시: “보험금 지급액”을 사용해 병원 재입원을 예측
• ✅ 해결: 해당 특징 제거

 ③ 사후 집계(Post-Event Aggregates)

• 예측 기준 시점 이후의 정보를 사용하는 경우
• ❗ 예시: “가입 첫 30일 동안의 통화 수”로 7일 내 이탈 여부 예측
• ✅ 해결: 집계는 실시간 또는 예측 시점 기준으로 즉석에서 계산

2. Train - Test(Split) Contaminaton 

테스트 데이터의 정보가 훈련 과정에 섞여 들어가면서, 실제 성능이 과대평가되는 문제입니다.

 

 ① 데이터 분석 누수 (Data Analysis Leakage)

• 🔎 전체 데이터를 미리 분석해서 생기는 누수입니다.
• ❗ 예시: 데이터 분할 전에 전체 상관관계나 공분산을 분석하는 경우
• ✅ 해결: 데이터를 먼저 나누고, 오직 훈련 데이터만 분석하세요.

 ② 전처리 누수 (Preprocessing Leakage)

• 🔧 전처리를 전체 데이터에 먼저 수행한 경우 생깁니다.
• ❗ 예시: 정규화, 스케일링, PCA 등을 전체 데이터에 적용한 뒤 분할
• ✅ 해결: 분할 먼저, 전처리는 훈련 데이터에만 fit, 테스트에는 transform만 적용

③ 시간 누수 (Temporal Leakage)

• 🕰️ 시계열 데이터에서 시간 순서를 무시하고 무작위로 섞으면 발생합니다.
• ❗ 예시: 미래 데이터를 훈련에 포함시켜 과거를 예측하는 경우
• ✅ 해결: 시간 순서대로 정렬하여 분할해야 합니다.

④ 중복 누수 (Duplicate Leakage)

• 🔁 같은 개체나 유사한 데이터가 훈련과 테스트에 둘 다 포함된 경우입니다.
• ❗ 예시: 동일한 고객의 데이터가 훈련과 테스트에 모두 포함
• ✅ 해결: 한 개체(또는 유사한 항목)는 반드시 한쪽 세트에만 들어가게 하세요.

⑤ 교차검증 누수 (Cross-Validation Leakage)

• 🧪 교차검증 시, 데이터 전처리나 변환 과정이 폴드 사이에서 공유될 경우 발생합니다.
• ❗ 예시: 교차검증 전에 스케일링을 전체에 먼저 적용
• ✅ 해결: 각 교차검증 폴드 내부에서 전처리부터 예측까지 독립적으로 처리

 ⑥ 개체 식별자 누수 (Entity/Identifier Leakage)

• 🧬 모델이 ID, 고유번호 등으로 정답을 추측해버리는 경우입니다.
• ❗ 예시: 고객 ID가 반복되며 모델이 그것만 보고 예측 가능해지는 경우
• ✅ 해결: 해당 컬럼은 제거하거나 처리해 주세요. (보통 drop)

 

해당 기사에 들어가보시면 이와관련된 실습도 진행할 수 있으니 참고해보세요 !!