[3과목 데이터베이스 구축] 데이터 전환 - 124. 데이터 검증 ~ 126. 데이터 정제요청서 및 정제보고서

1. 데이터 검증

• 원천 시스템의 데이터를 목적 시스템의 데이터로 전환하는 과정이 정상적으로 수행되었는지 여부를 확인

1) 검증 방법에 따른 분류

분류	설명
로그 검증	데이터 전환과정에서 작성하는 추출, 전환, 적재 로그 검증
기본 항목 검증	로그 검증 외에 별도로 요청된 검증 항목에 대해 검증
응용 프로그램 검증	응용 프로그램을 통한 데이터 전환의 정합성을 검증
응용 데이터 검증	사전에 정의된 업무 규칙을 기준으로 데이터 전환의 정합성을 검증
값 검증	숫자 항목의 합계 검증, 코드 데이터의 범위 검증, 속성 변경에 따른 값 검증을 수행

 

2) 검증 단계에 따른 분류

검증 단계	목적	검증 방법
추출	원천 시스템 데이터에 대한 정합성 확인	로그 검증
전환	매핑정의서에 정의된 내용 정확이 반영되었는지, 오류 여부 확인	로그 검증
DB 적재	SAM파일을 적재하는 과정에서 발생할 수 있는 오류나 데이터 누락 여부 등 확인	로그 검증
DB 적재 후	적재 완료 후 정합성 확인	기본 항목 검증
전환 완료 후	데이터 전환 완료 후 추가 검증 과정을 통해 데이터 전환의 정합성 검증	응용 프로그램 검증, 응용 데이터 검증

 

2. 오류 데이터 측정 및 정재

• 고품질의 데이터를 운영 및 관리하기 위해 수행
• 데이터 품질 분석 → 오류 데이터 측정 → 오류 데이터 정제

1) 데이터 품질 분석

• 오류 데이터를 찾기 위해 원천 및 목적 시스템 데이터의 정합성 여부를 확인하는 작업

2) 오류 데이터 측정

• 데이터 품질 분석을 기반으로 정상 데이터와 오류 데이터의 수를 측정하여 오류 관리 목록을 작성하는 것
• 정상 데이터 : 전환 대상 범위의 데이터를 업무 영역별, 테이블별 구분하여 수량을 측정 및 기재
• 오류 데이터 : 업무별로 오류 위치 및 유형을 확인하여 수량을 측정 및 기재

3) 오류 데이터 정제

• 오류 관리 목록의 각 항목을 분석하여 원턴 데이터를 정제하거나 전환 프로그램을 수정하는 것

3-1) 오류 데이터 분석

• 오류 관리 목록의 오류 데이터를 분석하여 오류 상태, 심각도, 해결방안을 확인 및 기재
• 상태

상태	설명
Open	오류가 보고만 되고 분석되지 않은 상태
Assigned	오류의 영향 분석 및 수정을 위해 개발자에게 오류를 전달한 상태
Fixed	개발자가 오류를 수정한 상태
Closed	수정된 오류에 대해 테스트를 다시 했을 때 오류가 발견되지 않은 상태
Deferred	오류 수정을 연기한 상태
Classified	보고된 오류를 관련자들이 확인했을 때 오류가 아니라고 확인된 상태

 

• 심각도

심각도	설명
상	데이터 전환을 수행할 수 없응 오류
중	데이터 전환 전반에 영향을 미치는 오류
하	데이터 전환에 직접적인 영향을 미치지는 않으나 상황에 맞지 않는 용도 및 배치 오류

 

• 해결 방안
  • 수정 가능한 오류 : 오류의 해결방안
  • 수정 불가능한 오류 : 고객과 협의하여 협의 결과를 기재

3-2) 오류 데이터 정제

• 확인된 오류 데이터 분석을 통해 원천 데이터를 정제하거나 전환 프로그램을 수정

 

3. 데이터 정제요청서 및 정제보고서

1) 데이터 정제요청서 개요

• 원천 데이터의 정제와 전환 프로그램의 수정을 위해 요청사항 및 조치사항 등 데이터 정제와 관련된 전반적인 애용을 문서화 한 것
• 오류 관리 목록을 기반으로 데이터 정제 요건 목록을 작성하고 항목별로 데이터 정제요청서를 작성

2) 데이터 정제 요건 목록 작성

• 오류 관리 목록의 각 항목에 대해 정제 유형을 분류하고 현재의 정제 상태를 정의한 것
• 정제 유형
  • 완정성 : 업무상 반드시 필요한 자료가 누락된 경우
    • ex) 고객 정보에 주민등록번호 등이 누락된 경우
  • 유효성 : 항목의 값이 유효하지 않은 경우
    • ex) 생년월일이 현재 날짜 이후인 경우
  • 일치성 : 상호 관련이 있는 항목이 서로 다른 경우
    • ex) 성별이 여자이면서 주민등록번호 뒤 7자리 중 첫 번째가 1 또는 3인 경우
  • 유일성 : 서로 상의해야 하는 항목의 값이 동일한 경우
    • ex) 서로 다른 고객의 주민등록번호가 동일한 경우
  • 기타 : 기 외의 정제 유형
• 정제 방법
  • 원천 : 원천 데이터의 정제가 필요한 경우
  • 전환 : 전환 프로그램의 수정이 필요한 경우
  • 모두 : 원천 데이터의 정제와 전환 프로그램의 수정이 모두 필요한 경우
• 상태
  • 요건 제기, 1~3차 검토/조치/확인 등 진행 상태를 기재

3) 데이터 정제요청서 작성

• 데이터 전환 시 발생한 오류의 수정을 위한 정제 요청의 전반적인 내용 작성
• 데이터 정제 검토 시 신속한 의사 결정을 위해 오류사항의 해결 방안도 포함

4) 데이터 정제보고서 개요 및 작성

• 데이터 정제요청서를 통해 정제된 원천 데이터가 정상적으로 정제되었는지 확인한 결과를 문서화 한 것
• 정제 요청 데이터와 정제된 데이터 항목을 육안으로 직접 비교하여 확인
• 정제된 데이터를 데이터 전환 프로그램을 이용해 전환한 후 오류의 발생여부를 확인하고 목적 데이터베이스에서 전환된 데이터를 확인
• 정제된 데이터의 확인 결과를 반영한 데이터 정제보고서를 정제 ID별로 작성
• 데이터 정제보고서에는 데이터 전환 결과 외에도 오류 데이터의 원인, 실제 데이터 정제 건수, 향후 대응방안 등을 포함

 

 

📖 Reference

2023 시나공 정보처리기사 필기 : 네이버 도서