소프트웨어를 작성할 때 코드에서 오류가 발생할 수밖에 없습니다. 이는 구문 오류, 논리 오류, 런타임 오류, 성능 오류, 데이터 오류 또는 더 나쁜 형태일 수 있습니다.
소프트웨어를 작성하는 동안 거의 유비쿼터스 오류의 특성으로 인해 소프트웨어 테스트는 소프트웨어 개발에서 중요한 단계입니다. 적절하고 효과적인 테스트는 사용자의 요구를 충족하는 고품질 소프트웨어뿐만 아니라 규정을 준수하고 공격자가 악용할 수 있는 취약점이 거의 또는 전혀 없는 소프트웨어를 생성합니다.
소프트웨어 테스트는 자동 테스트, 단위 테스트, 통합 테스트 또는 시스템 테스트를 통해 전체 소프트웨어 테스트의 형태로 수행할 수 있습니다.
그러나 소프트웨어 중에 발생하는 중요한 문제는 소프트웨어가 포괄적으로 테스트되었는지 여부를 결정하는 방법입니다. 소프트웨어에서 실행한 테스트가 충분합니까?
소프트웨어의 모든 부분을 완전히 테스트했습니까, 아니면 전혀 테스트하지 않은 코드 조각이 있습니까?
이러한 질문은 소프트웨어 테스트를 수행할 때 발생하기 마련이며 이것이 코드 커버리지를 매우 중요하게 만드는 이유입니다.
코드 적용 범위는 테스트 중인 소프트웨어에서 실행한 테스트에 의해 테스트되고 실행된 코드의 양을 알려주는 소프트웨어 테스트 메트릭입니다. 코드 검사 결과는 백분율로 표시됩니다.
이 백분율은 코드에서 실행한 테스트에서 코드의 어느 정도를 다루었는지 보여줍니다. 예를 들어, 테스트를 실행하고 60%의 코드 커버리지를 얻는다면 코드의 40%가 작성한 테스트에 포함되지 않았으므로 테스트되지 않은 코드에 오류와 취약성이 있을 수 있음을 의미합니다.
이러한 이유로 코드 검사를 통해 소프트웨어에서 실행한 테스트의 효율성과 완전성을 분석할 수 있습니다. 이는 소프트웨어가 릴리스되기 전에 적절하고 종합적으로 테스트되도록 보장하는 이점이 있습니다. 이렇게 하면 소프트웨어에 대한 사용자의 경험에 영향을 미칠 수 있는 프로덕션 소프트웨어의 소프트웨어 버그가 줄어듭니다.
코드 커버리지가 100%라고 해서 작성 중인 소프트웨어에 오류가 전혀 없다는 의미는 아니므로 소프트웨어의 효율적인 테스트를 보장하기 위해 높은 코드 커버리지를 목표로 해야 합니다.
소프트웨어 오류로 인해 사망에 이를 수 있는 항공 우주 및 의학과 같은 중요 산업에서는 규정에 따라 테스트 중에 100% 소프트웨어 적용 범위가 요구됩니다.
목차
코드 커버리지 지표 유형
소프트웨어를 테스트하는 동안 측정할 수 있는 여러 유형의 코드 커버리지 메트릭이 있습니다. 여기에는 다음이 포함됩니다.
- 문 범위 – 테스트 중에 실행된 소스 코드의 실행 가능한 문 비율을 측정합니다.
- 기능 범위 – 테스트 중에 호출된 정의된 기능의 백분율을 측정합니다.
- 분기 범위 – 소스 코드의 모든 결정 지점에서 실행된 분기 또는 가능한 경로의 백분율을 측정합니다. if, switch 문 및 if else 문과 같은 의사 결정 제어 구조에서 발생하는 모든 분기가 완전히 테스트되었는지 확인하는 데 사용됩니다.
- 조건 적용 범위 – 참 값과 거짓 값 모두에 대해 테스트된 부울 표현식의 백분율을 측정합니다.
- Loop Coverage – 테스트 중에 실행된 소스 코드의 루프 비율을 측정합니다.
- 경로 적용 범위 – 테스트된 소스 코드에서 가능한 모든 실행 경로의 백분율을 측정합니다.
위의 메트릭은 일반적으로 코드 커버리지 보고서에 포함됩니다.
코드 적용 모범 사례
코드 커버리지의 효율성과 품질을 보장하기 위해 코드 커버리지를 수행하는 동안 권장되는 특정 모범 사례가 있습니다. 여기에는 다음이 포함됩니다.
보장 목표가 명확해야 합니다.
수행된 모든 소프트웨어 테스트에서 적절한 각 테스트 적용 범위 메트릭에 대한 대상 적용 비율을 설정합니다. 이는 명확한 테스트 대상을 제공할 뿐만 아니라 코드 적용 범위를 늘리는 데 팀의 노력을 지시하여 소프트웨어의 결함을 줄이는 데 도움이 된다는 이점이 있습니다. 또한 소프트웨어 개발 중에 소프트웨어 테스팅이 마땅히 받아야 할 관심을 받는지 확인하는 데 도움이 됩니다.
테스트 품질에 집중
코드 커버리지는 단순히 테스트된 코드의 백분율을 표시하며 코드가 올바르게 테스트되었는지 또는 소프트웨어에 버그가 없는지 표시하지 않는다는 점에 유의해야 합니다. 따라서 단순히 코드 커버리지를 100%에 가깝게 만드는 데 초점을 맞추기보다는 소프트웨어를 올바르게 테스트하고 가치를 추가하는 작성 품질과 효과적인 테스트에 중점을 두어야 합니다.
자주 변경되는 코드에서 코드 커버리지 증가
대규모 프로젝트에서 높은 코드 커버리지 수를 달성하는 것은 어려울 수 있지만 시간이 지남에 따라 코드 커버리지가 향상되도록 노력할 수 있습니다.
이를 수행하는 가장 좋은 방법은 프로젝트 코드 기반에 대한 모든 새로운 커밋에서 90% 이상의 높은 코드 적용 범위를 요구하는 것입니다.
커밋 수준의 코드 적용 범위를 적용하는 것은 현실적이고 실현 가능할 뿐만 아니라 소프트웨어에 대한 새로운 변경 사항이 뛰어난 코드 적용 범위를 갖도록 보장합니다.
코드 커버리지 데이터 측정 및 분석
코드 커버리지에서 얻은 결과를 활용하여 여전히 테스트가 필요한 영역을 식별하고 코드 커버리지가 낮은 영역에 우선 순위를 두고 향후 테스트 노력을 안내합니다.
코드 검사 데이터를 분석하여 아직 테스트되지 않은 응용 프로그램의 중요한 영역을 식별하고 테스트되지 않은 중요한 영역을 완전히 테스트하기 위한 노력을 지시합니다. 코드 커버리지 데이터를 사용하여 소프트웨어를 개선하고 우선 순위를 지정하면 결함이 더 적은 더 나은 테스트를 거친 소프트웨어가 됩니다.
코드 커버리지 대 테스트 커버리지
둘 다 테스트의 효과를 확인하는 데 사용되는 반면, 코드 커버리지와 테스트 커버리지는 용도와 측정 대상이 근본적으로 다릅니다.
테스트 범위는 서면 테스트가 소프트웨어의 요구 사항을 다루는 범위를 결정하는 데 사용되는 메트릭입니다. 여기에는 각 소프트웨어 요구 사항 테스트가 포함되며 요구 사항 충족과 관련하여 소프트웨어가 얼마나 잘 테스트되었는지 확인하는 데 도움이 됩니다.
테스트 적용 범위 결과는 테스트된 소프트웨어 요구 사항의 백분율을 보여줍니다. 테스트 범위는 일반적으로 품질 보증 전문가가 수행합니다.
반면에 코드 커버리지는 작성된 테스트에서 실행된 소스 코드의 백분율을 결정하는 데 사용되는 소프트웨어 테스트 메트릭입니다.
코드 커버리지의 결과는 소스 코드의 명령문, 함수, 경로, 루프, 분기 및 조건이 작성된 단위 테스트에 의해 실행된 범위를 보여줍니다. 코드 범위는 작성된 테스트가 소스 코드를 얼마나 잘 다루는지 평가하는 데 사용되며 일반적으로 소프트웨어 개발자가 수행합니다.
코드 적용 범위는 소프트웨어 테스트를 수행하는 동안 측정해야 하는 중요한 메트릭입니다. 다음은 코드 검사에 도움이 되는 몇 가지 도구입니다.
클로버
Clover는 소프트웨어 개발 팀을 위한 제품을 개발하는 호주 소프트웨어 회사인 Atlassian에서 처음 개발한 오픈 소스 코드 커버리지 도구입니다. 이 도구는 순수하게 Java로 작성되었으며 Java Runtime Environment의 요구 사항을 충족하는 모든 운영 체제에서 실행할 수 있습니다.
Clover는 Java, Groovy 또는 AspectJ 프로그래밍 언어로 작성된 코드에 대한 코드 커버리지를 수행하는 데 사용할 수 있습니다. JUnit, TestNG 및 Spock과 같은 테스트 프레임워크를 지원하며 IntelliJ IDEA 및 Eclipse와 같은 IDE와 통합할 수도 있습니다.
Clover는 메서드, 명령문, 분기, 전역 및 테스트별 적용 범위와 같은 코드 적용 범위 메트릭을 측정하는 데 사용할 수 있습니다.
코드 검사 연습에서 소프트웨어의 상위 위험 영역 외에 코드 검사 결과를 표시하고 테스트 최적화에 사용할 수 있는 고도로 구성 가능한 HTML 보고서를 생성할 수 있습니다.
보고서는 PDF, XML, JSON 또는 일반 텍스트로 생성할 수도 있습니다. 클로버의 주요 장점은 다양한 도구와 통합될 수 있고 적극적으로 개발 및 개선되고 있다는 것입니다.
자코코
JaCoCo는 EclEmma 팀에서 개발한 Java 프로그래밍 언어용 무료 코드 커버리지 라이브러리입니다. 이 라이브러리는 Eclipse IDE용 무료 Java 코드 커버리지 도구인 EclEmma에서 구현됩니다.
JaCoCo는 Java 소스 코드 편집기에서 결과가 즉시 요약되고 강조 표시되는 풍부한 적용 범위 분석을 제공하며 사용자가 적용 범위 결과를 메서드 수준으로 드릴다운할 수 있도록 합니다.
결과는 소스 코드에서 실행되는 테스트에서 완전히, 부분적으로 또는 아직 다루지 않은 코드 줄을 강조 표시하는 사용자 정의 가능한 색상 코드를 사용하여 표시됩니다. 소스 코드의 전체 코드 범위에 도달하기 위해 다양한 테스트 실행을 병합하고 고려할 수 있습니다.
JaCoCo는 가벼운 도구이며 코드 검사 분석에 사용하기 위해 프로젝트를 수정하거나 다른 설정을 수행할 필요가 없습니다.
코베르투라
Cobertura는 Jcoverage를 기반으로 하는 무료 오픈 소스 Java 코드 커버리지 도구이며 Ant 스크립트 또는 Maven 플러그인을 통해 자체적으로 사용할 수 있습니다. Maven 플러그인을 통해 사용하는 것이 코드 커버리지를 위해 Cobertura를 사용하는 가장 일반적인 방법입니다.
Cobertura는 Java 소스 코드에서 실행되는 테스트에 의해 실행된 라인 또는 분기의 백분율을 측정합니다. 테스트 중에 실행된 명령문의 백분율을 표시하는 라인 적용 범위와 테스트 중에 적용되는 분기의 백분율을 표시하는 분기 적용 범위와 같은 메트릭을 제공합니다.
또한 Java 코드의 분기 수가 증가함에 따라 증가하는 복잡성 요인을 보여줍니다.
코드 검사 결과는 HTML 또는 XML로 표시되어 테스트되지 않은 소스 코드 부분을 보여줍니다. 테스트 커버리지 결과를 보여주는 것 외에도 Cobertura는 테스트되지 않은 코드와 버그를 찾고 도달할 수 없는 코드를 식별하는 데에도 사용할 수 있습니다.
이스탄불
Istanbul은 ES6+를 지원하는 JavaScript 코드용 코드 커버리지 도구입니다. 이 도구는 노드 패키지 관리자를 사용하여 개발 종속성으로 모든 Javascript 프로젝트에 설치할 수 있습니다.
Istanbul은 명령문, 분기, 함수 및 라인 적용 범위와 같은 코드 적용 범위 메트릭을 제공합니다. 또한 테스트에서 다루지 않은 소스 코드의 라인도 보여줍니다. 단위 테스트가 소스 코드를 실행하는 범위를 추적할 수 있도록 JavaScript 코드에 줄 카운터를 추가하여 이를 수행합니다.
Istanbul의 코드 커버리지 결과는 터미널 또는 HTML 형식으로 출력할 수 있습니다. 또한 이스탄불은 하위 프로세스, Babel 및 TypeScript 프로젝트의 소스 매핑 적용 범위를 생성하는 애플리케이션에 대한 지원을 제공합니다.
Pytest-cov
Pytest-cov는 Python 코드에 대한 코드 커버리지 보고서를 생성하는 데 사용되는 무료 Python 플러그인입니다. Python의 패키지 설치 프로그램 Pip을 사용하여 설치되며 명령줄에서 작동합니다.
코드 적용 범위 보고서는 테스트에서 다루지 않는 Python 프로젝트의 명령문을 표시하고 테스트에서 다루는 Python 코드의 백분율을 보여주는 테스트 적용 범위 백분율을 제공합니다.
Pytest-cov는 하위 프로세스 지원, xdist 지원 및 일관된 pytest 동작을 제공합니다. 테스트를 수행하는 동안 Pytest-cov의 기본 동작은 각각의 새로운 테스트 실행에 대해 새롭고 깨끗한 데이터를 보장하기 위해 기존 커버리지 데이터 파일을 삭제하는 것입니다. 그러나 사용자는 이전 테스트 실행의 코드 커버리지 테스트 결과를 결합할 수도 있습니다.
Coverage.py
Coverage.py는 Python 프로그램용 코드 커버리지 도구이며 pip를 사용하는 프로젝트에 설치됩니다.
기본적으로 라인 또는 문 적용 범위를 측정하고 프로그램의 문 수, 테스트에서 누락된 문 수, 테스트의 적용 비율을 보여주는 결과를 제공하며 Python 소스 코드에서 놓친 라인도 표시합니다. 테스트. 그러나 여전히 Python 프로그램에서 분기 범위를 측정하도록 구성할 수 있습니다.
Coverage.py는 또한 어떤 테스트가 소스 코드의 어떤 줄을 실행했는지 알려주는 데 사용할 수 있습니다. 코드 커버리지 보고서는 터미널과 HTML, XML, JSON 및 LCOV 형식으로 표시될 수 있습니다.
SimpleCov
SimpleCov는 Ruby 프로그래밍 언어를 위한 강력한 코드 커버리지 도구입니다. Ruby의 내장 커버리지 라이브러리를 활용하여 테스트를 실행한 후 코드 커버리지를 결정하는 데 사용할 관련 데이터를 수집합니다.
SimpleCov의 가장 좋은 점은 코드 커버리지 결과를 보여주는 것입니다. 또한 수행된 여러 유형의 테스트 결과를 병합하여 생성된 보고서에 수행된 모든 테스트의 결과가 표시되므로 테스트되지 않은 코드 부분을 쉽게 식별할 수 있습니다.
또한 코드의 테스트된 부분과 테스트되지 않은 부분을 식별하는 데 쉽게 사용할 수 있는 색상 코드로 소스 코드의 형식을 지정합니다. 기본적으로 SimpleCov는 테스트의 라인 커버리지를 측정하고 보고합니다. 그러나 수행된 테스트의 분기 커버리지를 측정하고 보고하도록 구성할 수 있습니다.
딥 커버
Deep Cover는 Ruby 코드에 대한 정확한 코드 커버리지 도구입니다. 라인이 부분적으로 실행되는 것이 아니라 전체적으로 실행되는 경우에만 라인이 커버된 것으로 간주되도록 하여 보다 정확한 라인 커버리지 보고서를 제공합니다.
또한 테스트에서 수행되지 않은 일부 분기가 있는지 확인하는 데 선택적으로 사용할 수 있는 노드 및 분기 커버리지에 대한 지원을 제공합니다.
Deep Cover는 구성할 필요 없이 사용하기 쉬울 뿐만 아니라 Ruby의 내장 코드 커버리지 라이브러리 또는 SimpleCov와 같은 다른 코드 커버리지 도구를 사용하여 프로젝트에 통합할 수 있습니다. 이러한 경우 Deep Cover는 코드 라인의 모든 항목이 완전히 실행되는 경우에만 라인을 실행된 것으로 표시하여 도구를 더 엄격하게 만듭니다.
결론
더 높은 코드 커버리지가 반드시 소프트웨어에 오류가 없는 것은 아니지만 소프트웨어를 테스트할 때 고려해야 하는 중요한 메트릭입니다. 코드 커버리지는 작성된 테스트가 실제로 소프트웨어의 소스 코드를 테스트하는 정도를 평가하는 데 중요합니다.
또한 테스트 중에 코드 적용 범위를 개선하기 위해 노력하면 프로덕션에서 오류가 덜 발생하는 더 잘 테스트된 소프트웨어가 생성됩니다. 소프트웨어를 테스트하는 동안 코드 검사를 수행하려면 기사에서 제안한 도구를 사용하는 것이 좋습니다.
클라우드 기반 부하 테스트 도구를 탐색할 수도 있습니다.