[정보처리기사 실기] 21. 애플리케이션 테스트 케이스 설계

 

1. 애플리케이션 테스트 케이스 작성

• 소프트웨어 테스트 : 개발된 시스템이 사용자 요구사항을 만족하는지 확인하고 숨어있는 결함을 찾아내는 활동
• 소프트웨어 테스트 필요성
  • 오류 발견 관점 : 잠재된 오류를 발견하고 수정하여 올바를 프로그램 개발
  • 오류 예방 관점 : 프로그램 실행 전 오류를 발견하는 예방
  • 품질 향상 관점 : 사용자의 요구사항을 만족하도록 반복적인 테스트를 거쳐 제품의 신뢰도 향상
• 소프트웨어 테스트의 기본 원칙
  • 소프트웨어 테스트 원리
    • 결함 존재 증명 : 결함이 존재함을 밝히는 활동. 결함이 없다는 것을 증명할 수 없음
    • 완벽 테스팅은 불가능 : 무한 경로, 무한 입력값으로 인해 완벽한 테스트는 어려움
    • 초기 집중 : 개발 초기에 체계적인 설계가 수행되지 못하면 비용이 커짐(요르돈 법칙)
    • 결함 집중 : 적은 수의 모듈에서 대다수 결함이 발견됨(파레토 법칙)
    • 살충제 패러독스 : 동일한 테스트 케이스에 의한 반복적 테스트는 새로운 버그를 찾지 못함
    • 정황 의존성 : 소프트웨어 성격에 맞게 테스트를 수행
    • 오류-부재의 궤변 : 요구사항을 충족시켜주지 못하면, 결함이 없어도 품질이 높다고 볼 수 없음
  • 소프트웨어 테스트 산출물
    • 테스트 계획서 : 테스트 목적과 수행을 계획한 문서
    • 테스트 베이시스 : 분석, 설계 단계의 논리적인 케이스로 테스트 설계를 위한 기준이 되는 문서
    • 테스트 케이스 : 테스트를 위한 설계 산출물로, 테스트 항목의 명세서
    • 테스트 슈트 : 테스트 케이스를 실행환경에 따라 구분해 놓은 테스트 케이스의 집합
    • 테스트 시나리오 : 애플리케이션의 테스트 되어야 할 기능 및 특징, 테스트가 필요한 상황을 작성한 문서
    • 테스트 스크립트 : 테스트 케이스의 실행 순서를 작성한 문서
    • 테스트 결과서 : 테스르 결과를 정리한 문서
• 소프트웨어 테스트 유형
  • 프로그램 실행 여부
    • 정적 테스트 : 테스트 대상을 실행하지 않고 구조를 분석하여 논리성을 검증 -> 리뷰, 정적 분석
    • 동적 테스트 : 소프트웨어를 실행하는 방식으로 테스트를 수행 -> 화이트박스, 블랙박스, 경험기반 테스트
  • 테스트 기법
    • 화이트박스 테스트 : 응용 프로그램의 내부 구조와 동작을 검사
      • 구문 커버리지(State Coverage) : 프로그램 내의 모든 명령문을 적어도 한 번 수행
      • 결정 커버리지(Decision Coverage) : 결정 포인트 내의 전체 조건식이 한 번씩 참, 거짓의 결과를 수행
      • 조건 커버리지(Condition Coverage) : 결정 포인트 내의 각 개별 조건식이 한 번씩 참, 거짓의 결과를 수행
      • 조건/결정 커버리지(Condition/Decision Coverage) : 전체 조건식과 개별 조건식 모두 참, 거짓 한 번씩 수행
      • 변경 조건/결정 커버리지(MC/DC Coverage) : 개별 조건식이 다른 개별 조건식에 영향을 받지 않고 전체 조건식에 독립적으로 영향을 주도록 하여 조건/결정 커버리지를 향상
      • 다중 조건 커버리지(Mutiple Decision Coverage) : 결정 조건 내 모든 개별 조건식의 모든 가능한 조합을 보장
      • 기본 경로 커버리지(Base Path Coverage) : 수행 가능한 모든 경로를 테스트
      • 제어 흐름 테스트(Control Flow Testing) : 프로그램 제어 구조를 그래프 형태로 나타내 내부 로직을 테스트
      • 데이터 흐름 테스트(Data Flow Testing) : 제어 흐름 그래프에 데이터 사용현황을 추가한 그래프를 통해 테스트
      • 루프 테스트(Loop Testing) : 프로그램의 반복 구조에 초첨을 맞춰 실시하는 테스트
    • 블랙박스 테스트 : 프로그램 외부 사용자의 요구사항 명세를 보며 수행하는 테스트
      • 동등 분할 테스트(Equivalence Partitioning Testing) : 입력 데이터의 영역을 유사항 도메인별로 유효값/무효값으로 그룹핑하여 대푯값 테스트 케이스를 도출
      • 경곗값 분석 테스트(Boundary Value Analysis) : 경계값을 포함하여 테스트 케이스를 설계
      • 결정 테이블 테스트(Decision Table Testing) : 논리와 발생 조건을 테이블 형태로 나열하여 조합 후 테스트
      • 상태 전이 테스트(State Transition Testing) : 테스트 대상의 객체 상태를 구분하고, 이벤트에 의해 전의되는 경우의 수를 테스트
      • 유스케이스 테스트(Use Case Testing) : 시스템이 실제 사용되는 유스케이스로 모델링 되어 있는 경우 명세화
      • 분류 트리 테스트(Classification Tree Method) : SW의 일부 또는전체를 트리 구조로 분석 및 표현하여 테스트
      • 페어와이즈 테스트(Pairwise Testing) : 테스트 데이터들을 한 번씩 조합하여 테스트
      • 원인-결과 그래프 테스트(Cause-Effect Graph Testing) : 그래프를 활용해 데이터 간 관계 및 영향을 분석하여 효용성이 높은 테스트 케이스를 선정
      • 비교 테스트(Comparison Testing) : 여러 버전의 프로그램에 같은 입력값을 넣어 동일한 결과가 나오는지 비교
      • 오류 추정 테스트(Error Guessing Testing) : 개발자가 범할 수 있는 실수를 추정하고 테스트케이스를 설계
  • 테스트 시각
    • 검증(Verification) : 소프트웨어 개발 과정을 테스트
    • 확인(Validation) : 소프트웨어 결과를 테스트 
  • 테스트 목적
    • 회복 테스트(Recovery Testing) : 시스템에 고의로 실패를 유도하고, 정장적 복귀 여부를 테스트
    • 안전 테스트(Security Testing) : 불법적인 소프트웨어가 접근하지 못하도록 보안적인 결함을 점검
    • 성능 테스트(Performance Testing) : 사용자 요구에 시스템의 반응을 측정
      • 부하 테스트(Load Testing) : 시스템에 부하를 증가시키며 임계점을 찾음
      • 강도 테스트(Stress Testing) : 임계점 이상의 부하를 가하여 시스템의 동작 상태를 확인
      • 스파이크 테스트(Spike Testing) : 짧은 시간에 사용자가 몰릴 때 시스템의 반응을 측정
      • 내구성 테스트(Endurance Testing) : 오랜 시간 시스템에 높은 부하를 가하여 시스템의 반응을 테스트
    • 구조 테스트(Structure Testing) : 시스템의 내부 논리 경로, 소스 코드 복잡도 등을 평가
    • 회귀 테스트(Regression Testing) : 수정한 시스템에서 새롭게 발생한 오류가 없는지 확인
    • 병행 테스트(Parallel Testing) : 변경된 시스템과 기존 시스템에 동일한 데이터를 입력 후 결과를 비교
• 정적 테스트
  • 리뷰(Review) :결함을 검출하거나 프로젝트의 진행 상황을 점검하기 위한 활동, 전문가가 수행
    • 동료 검토(Peer Review) : 2~3명이 진행하며, 요구사항 명세서 작성자가 설명하고, 나머지가 설명을 들으며 결함을 발견
    • 인스펙션(Inspection) : 다른 전문가 또는 팀이 검사하여 문제를 식별하고 문제에 대한 올바른 해결을 찾아냄
    • 워크 스루(Walk Throughts) : 회의 전 검토 자료를 배포해 사전 검토 후 짧은 시간 동안 회릐를 진행하는 비공식 검토
  • 정적 분석(Static Anaysis) : 자동화된 도구를 이용하여 결함을 검출하거나 복잡도를 측정. 코딩 표준 부합, 복잡도 계산, 자료 흐름 분석 등
• 동적 테스트
  • 화이트박스 테스트(구조 기반 테스트)
    • 기본 구문 : 프로그램 구조를 나타내는 제어 흐름 그래프로 테스트 케이스 추출
    • 테스트 커버리지 : 테스트 수행 정도를 나타내는 값
      • 기능 기반 커버리지 : 전체 기능을 모수로 설정 후 실제 테스트가 수행된 기능의 수를 측정
      • 라인 커버리지 : 전체 소스 코드의 라인 수를 모수로 설정 후 테스트를 실행한 라인 수를  측정
      • 코드 커버리지 : 소프트웨어 테스트 충분성 지표
    • 테스트 커버리지 구성 : 구문(Statement), 결정(Decition), 조건(Condition), 결정 포인트(Decition Point)로 구성
  • 블랙박스 테스트(명세 기반 테스트) : 모든 종류의 소프트웨어 시스템에 대해 테스트
  • 경험 기반 테스트 : 테스트 경험을 토대로 직관과 기술 능력을 기반으로 수행
    • 탐색적 테스트 : 테스트 케이스를 문서로 작성하지 않고 경험에 기반을 두고 탐색적으로 기능 수행
    • 오류 추정 : 개발자가 범할 수 있는 실수를 추정하고 이에 따른 결함이 검출되도록 테스트 케이스를 설계
• 테스트 케이스 : 특정 요구사항에 준수하는 지를 확인하기 위해 개발된 입력값, 실행 조건, 예상 결과의 집합
• 테스트 케이스 필요 항목
  • 공통 작성 항목 요소 : 테스트 단계명/작성자/승인자/작성 일자/문서 버전, 대상 시스템, 변경 여부, 테스트 범위, 테스트 조직
  • 개별 테스트 케이스 항목 요소 : 테스트 ID, 테스트 목적, 테스트할 기능, 테스트 데이터, 예상 결과, 테스트 환경, 테스트 조건, 성공/실패 기준, 기타 요소
• 테스트 오라클 : 테스트 결과를 판단하기 위해 사전에 정의된 참값을 입력하여 비교하는 기법
• 테스트 오라클 종류
  • 참(True) 오라클 : 모든 입력값에 대하여 기대하는 결과를 생성하여 발생된 오류를 모두 검출
  • 샘플링(Sampling) 오라클 : 특정 몇 개의 입력값에 대해서만 예상 결과를 제공
  • 휴리스틱(Heuristic) 오라클 : 샘플링 오라클을 개선하여, 특정 입력값에 대해 올바를 결과를 제공하는 나머지 값들을 추정(휴리스틱)으로 처리
  • 일관성(Consistent) 검사 오라클 : 애플리케이션 변경이 있을 때, 수행 전과 후의 결괏값이 동일한 지 확인

 

 

2. 애플리케이션 테스트 시나리오 작성

• 테스트 레벨 : 함꼐 편성되고 관리되는 테스트 활동의 그룹
• 테스트 레벨 종류
  • V모델과 테스트 레벨
    • 소프트웨어 개발 단계 : 요구사항 -> 분석 -> 설계 -> 구현
    • 테스트 단계 : 단위 테스트 -> 통합 테스트 -> 시스템 테스트 -> 인수 테스트
  • 테스트 레벨 종류
    • 단위 테스트 : 사용자 요구사항에 대한 단위 모듈, 서브루틴 등을 테스트
    • 통합 테스트 : 모듈 사이의 인터페이스, 통합된 컴포넌트 간의 상호작용을 검증
    • 시스템 테스트 : 기능이 시스템에서 정상적으로 수행되는지 검증
    • 인수 테스트 : 계약상의 요구사항이 만족되는지 확인
      • 알파 테스트 :  개발자 환경에서 통제된 상태로 개발자와 함께 수행하는 인수 테스트
      • 베타 테스트 : 실제 환경에서 대상 소프트웨어를 사용하게 하고 피드백을 받는 인수 테스트
• 테스트 시나리오 : 테스트 수행을 위한 여러 테스트 케이스의 집합
• 테스트 시나리오 작성 유의점 : 테스트 시나리오 분리 작성, 필수 항목 포함, 요구사항과 설계 문서 참고

 

 

 

---

# 회고

 

화이트박스, 블랙박스 테스트 종류 외우기!