World Quality Report(2022-23) 소개 (2)
Updated:
이전 글에 이어, Quality & Testing 관련 현재 트랜드 및 주요 내용에 대해 계속 살펴보도록 하겠습니다.(출처: “World Quality Report 2022-23” )
3. CURRENT TRENDS IN QUALITY ENGINEERING & TESTING
3) Quality Infrastructure Testing and Provisioning
테스트 환경관리(Test Environment Management)는 World Quality Report의 설문조사에서 항상 중요한 영역이었습니다.
용어 참고. 테스트 환경관리(Test Environment Management)
테스트 환경 관리는 각 테스트 환경을 IT PJT, DevTest Community 및 전체 S/W Development Lifecycle에 사용할 수 있도록, 적절한 거버넌스 및 서비스를 통해 테스트 환경*을 이해하고 해당 지식을 적용하는 기능입니다.
*IT 및 테스트 환경에는 다음이 포함될 수 있습니다.
- Development Environments, for development
- System Testing Environments, for isolated system tests
- Integration Testing Environments, to check connectivity
- User Acceptance Test Environment, for business sign-off
- Performance Testing Environment, for performance tests
Source: https://www.testenvironmentmanagement.com/tem-101/
올해에는 테스트 환경 프로비저닝(Test Environment Provisioning)이 어떻게 적용되고 있는지, 그리고 Non-production환경의 Cloud Provisioning이 어떻게 도약하고 있는지에 대해 분석했습니다.
용어 참고. 프로비저닝(provisioning)
프로비저닝(provisioning)은 사용자의 요구에 맞게 시스템 자원을 할당, 배치, 배포해 두었다가 필요 시 시스템을 즉시 사용할 수 있는 상태로 미리 준비해 두는 것을 말합니다. 서버 자원 프로비저닝, OS 프로비저닝, 소프트웨어 프로비저닝, 스토리지 프로비저닝, 계정 프로비저닝 등이 있습니다. 수동으로 처리하는 ‘수동 프로비저닝’과 자동화 툴을 이용해 처리하는 ‘자동 프로비저닝’이 있습니다.
Source: https://ko.wikipedia.org/wiki/
용어 참고. Non-production Environment
Non-Production Environment란 S/W가 상용 목적으로 사용되지 않고 있는, Development, Staging, Quality Assurance과 같은 환경들을 의미합니다.
Source: https://www.lawinsider.com/dictionary/non-production-environment
점점 더 많은 환경과 애플리케이션들이 Cloud로 이동함에 따라, Cloud Testing은 S/W Development Lifecycle에서 더 큰 위치를 차지하고 있습니다. 그래서, 이번 장에서는 Cloud Testing의 현 상태과 적용 수준에 대해 조사했습니다.
Test environment provisioning on cloud
점점 더 많은 Workload들이 Cloud로 옮기고 있음에 따라, 조직들이 Non-production환경에 대해 Cloud에서 Provisioning하고 있는 비율이 어느 정도인지 물어봤습니다.
용어 참고. 워크로드(Workload)
클라우드 워크로드란 무엇입니까?
클라우드 워크로드는 클라우드 리소스에서 실행할 수 있는 특정한 애플리케이션, 서비스, 기능 또는 특정한 작업량입니다. 가상 머신, 데이터베이스, 컨테이너, Hadoop 노드 및 애플리케이션이 모두 클라우드 워크로드로 간주됩니다.
Source: https://www.dell.com/ko-kr/dt/learn/cloud/cloud-workloads.htm
그 결과는 명백한 진전을 보여주고는 있지만, 아직까지도 전체 조직의 거의 절반 정도는 Non-production환경 중 최대 25% 정도까지만 Cloud에서 Provisioning하고 있는 것으로 나타났습니다.
전체 조직의 나머지 49%는 Non-production환경의 50% 이상을 Cloud에서 보유하고 있습니다. 이러한 Non-production환경의 Cloud 적용은, Cloud환경에서 평균 23%의 Testing이 수행되고 있다고 답변한 지난해 설문조사와 비교하면 긍정적인 추세를 보여주고 있습니다.
Non-production Workload를 Cloud로 옮기는 추세가 증가하고 있다는 사실을 알게된 이후, 우리는 Non-production환경을 위한 Cloud Platform전략에 대해서도 살펴봤습니다. 그 결과, 현재 많은 조직들(44%)이 Hybrid(On-premises plus Single Cloud Provider) 환경 전략을 사용하고 있었습니다.
조직들 중 약 38%는 Multi-cloud전략을 수립하고 있습니다. 또한, 응답자의 평균 30%가 테스트 환경을 Multi-premise(on-premises plus multi-cloud provider)모델로 전환하는 것에 대해 심각하게 고민하기 시작했습니다.
이 데이터는 Non-production환경을 Cloud로 전환하는 작업이 아직 완료되지 않았음을 보여주고 있습니다. 이러한 Non-production환경에 대한 Multi-cloud 및 Multi-premise전략은 재해 복구, 보안 및 비용 효율성에 긍정적인 영향을 미치기 때문에, 적용이 점차 증가할 것으로 예상하고 있습니다.
Automation of test environment provisioning
Non-production환경을 Cloud로 옮길 때 가장 큰 이점은, Cloud Solution을 통한 테스트 환경 Provisioning 자동화가 훨씬 쉬워진다는 것입니다.
우리는 테스트 환경 Provisioning 자동화를 위해 조직들이 사용하고 있는 자동화 도구들을 조사했습니다. 그 결과, 사용 가능한 다양한 옵션들이 고르게 분포되어 있었습니다.
응답자의 41%는 오픈소스(Open-source Option)와 함께 상용 자동화 도구(Commercial Off-the-shelf Tooling)를 혼합한 Hybrid Tooling Strategy를 적용하고 있었습니다. Cloud-native Tooling이나 사내개발 자동화 도구(In-house Supplier-Built Tooling)의 경우에도 비슷한 수준의 선호도를 보이고 있다는 점을 확인했습니다.
이번 분석에서 눈에 띄는 한 가지 전략은, 조직들이 모든 계란을 한 바구니에 담을 준비가 되어 있지는 않다는 것입이다. 따라서, 현재는 여러 자동화 도구를 혼합하여 사용하는 전략이 수행되고 있습니다. 이를 통해, 많은 조직들이 자동화 도구를 적용함에 있어 균형 잡힌 접근 방식을 취하고 있음을 알 수 있습니다. 이 분야에는 많은 새로운 자동화 도구들이 적용되고 있기 때문입니다.
Cloud and infrastructure testing
조직들이 Cloud에 더 많은 환경들을 구축함에 따라, Cloud Testing의 중요성 또한 점점 더 커질 것으로 예상됩니다. Cloud Testing을 통해 조직들은 Cloud환경 및 애플리케이션의 확장성(Scalability), 성능(Performance), 보안(Security), 신뢰성(Reliability), 재해 복구(Disaster Recovery), 상호 운용성(Interoperability) 및 멀티 테넌시(Multi-tenancy)를 검증합니다.
애플리케이션이 Cloud로 옮겨질 때, 애플리케이션의 기능적 측면과 비기능적(Non-functional) 측면을 테스트하여, 요구하는 전체적인 기능과 성능을 유지하고 있는지에 대해 보장할 수 있어야 합니다.
올해 설문 조사에서는, 조직들이 Development Lifecycle의 일부로서 Cloud 및 Infra Testing을 포함하고 있는지 물어보았습니다. 전체 응답자의 약 96%가 Cloud Testing이 현재 Testing Lifecycle의 일부로 포함되어 있다고 언급했으며, 57%는 대부분의 PJT에서 Cloud Testing을 포함하고 있으며, 39%는 적어도 일부 PJT에서 Cloud Testing을 포함하고 있다고 답변했습니다.
이것은 S/W Development Lifecycle에 Cloud Testing 역량을 포함하는 추세가 상승하고 있음을 보여주는 긍정적인 결과입니다. 이러한 추세를 지속하면서, Cloud Testing 및 Infrastructure Testing을 S/W Development Lifecycle의 필수 단계로 포함할 것을 강력하게 권장합니다.
우리는 향후 몇년간은 Cloud Testing이 받아들여지고 적용이 증가하는 트랜드가 계속될 것으로 보고 있으며, 이전에 비해 Cloud Testing 및 Infrastructure Testing에 참여하는 조직들도 확실히 늘어나고 있습니다. 이는 Cloud 적용이 점차 증가함에 따라, 잠재적인 보안 및 성능 이슈에 대한 관심도 증가하기 때문에, 점점 더 높은 관련성을 가지게 될 것 입니다.
Cloud testing strategy
Cloud Testing의 중요도가 점차 높아질수록, 조직들이 PJT에 대한 Cloud Testing전략을 수립하는 데 얼마나 성숙되어 있는지 이해하는 것도 중요합니다. 이번 설문조사에서 Cloud Testing전략은 아직 효과적이지 않으며, 성숙될 필요가 있는 것으로 나타났습니다. 응답자의 절반(50%)이 Cloud Testing전략이 약간 효과적(Only Somewhat Effective)이라고 언급한 반면, 37%는 중간정도로 효과적(Moderately Effective)이라고 언급했습니다.
이같은 결과는, 대부분의 조직들이 전반적으로 가지고 있는 Cloud Testing의 개념 및 Cloud Testing관련 자동화 수준이 초기 단계에 머물러있다는 신호입니다. 이러한 관찰을 통해 얻을 수 있는 핵심은, 조직들이 전체적인 Cloud 적용 전략에 부합하는 End-to-end Cloud & Infrastructure Testing전략 수립을 시작하는 것이 시급하다는 것입니다.
Automation of cloud testing
또한, 우리는 조직에서 Cloud Testing 자동화를 적용하는 접근방식과 Cloud Testing 자동화에 사용하는 도구의 유형에 대해서도 조사했습니다. 응답자의 약 33%는 Cloud Testing을 위한 자동화 도구 선정에 대해, PJT별 의사결정에 전적으로 따른다(Project-specific Decision)라고 대답했습니다. Open-source를 선호하는 경우도 동일한 비율(33%)로 답변하였으며, 31% 정도가 Cloud기반 자동화 도구(Cloud-native Tooling)를 선호하고 있다고 답변하였습니다.
What should organizations focus on?
전반적으로, Test Environment Management에 대한 긍정적인 동향을 확인할 수 있었습니다.
- 보다 많은 조직들이 테스트 환경을 Cloud(Multi-cloud 또는 Multi-premise Model)로 이동하고 있습니다.
- 조직들은 테스트 환경 Provisioning 자동화를 위해, Cloud 자동화 도구(Cloud-native Tools), 상용 자동화 도구(Commercial off-the-shelf Tools)또는 사내개발 자동화 도구(In-house Built Tools)에 이르기까지, 자동화 도구들을 혼합하여 사용하고 있습니다.
Test Environment Management 및 Provisioning 관련 권장 사항은 다음과 같습니다.
- 테스트 환경을 위한 Multi-premise(on-premises plus multi-cloud provider) 전략을 신속하게 적용하여, 비용 효율성(Cost Efficiency), 보안성(Security), 중복성(Redundancy) 및 데이터 복구 옵션(Data Recovery Options)을 개선해야 합니다.
- 테스트 환경 Provisioning을 위한 Hybrid전략으로, 상용 및 오픈 소스 자동화 도구의 최대 활용을 위한 Intelligent Integration(특정 기능 사용자 지정 포함)을 고려할 수 있습니다.
- Non-production workload환경의 효율적인 설계 및 아키텍처를 통해, Non-production workload를 Cloud로 이동하는 비용-편익(Cost-benefit) 트랜드를 더욱 활용해야 합니다.
4) Test Data Provisioning and Data Validation
Test data provisioning strategies
올해는 조직들이 어떤 Test Data Provisioning전략을 사용하고 있는지 조사했습니다. 분명한 결과는 많은 조직(41%)들이 여전히 Test Data Provisioning에 있어, PJT중심의 접근 방식을 사용한다는 것입니다. 조직들의 31%가 전사적 Test Data Provisioning전략을 수립했지만, 효율적으로 구현하는 데 어려움을 겪고 있는 것으로 나타났습니다. 응답자의 20%만이 전사적으로 완벽하게 구현된 Test Data Provisioning전략을 가지고 있다고 답했습니다.
조직들은 현재 속해있는 지역의 규정을 살펴보고 전사적인 Test Data Provisioning전략을 신속하게 수립해야 합니다. 여기에는 보안에 대한 적절한 초점도 포함되어야 합니다.
Provisioning of test data into CI/CD pipelines
조직들은 안전한 Test Data에 대해 On Demand Provisioning을 고려하고 있지만, Test Data Pipeline이 CI/CD Pipeline과 통합되는 것은 아직도 먼 이야기입니다. 49%의 조직에서 Test Data Provisioning Process가 자동화되어 있지만, 이러한 자동화는 전체 CI/CD Pipeline 자동화와는 독립적으로 운영되고 있습니다. 42%의 조직에서 Test Data의 ‘Manual Provisioning’은, CI/CD Pipeline과 Test Data Provisioning을 통합하는 데 있어 여전히 가장 큰 장벽 중 하나입니다. 응답자의 거의 1/3(31%)은 Test Data를 CI/CD Pipeline에 통합하는 것이 종종 간과되고 있다고 생각합니다.
이 분석을 통해 얻을 수 있는 주요 시사점(Key Takeaway)은, 조직들이 Test Data Provisioning 자동화를 CI/CD Pipeline의 필수 요소로 고려해야 한다는 것입니다. 우리는 Value Stream Management 관련 Tooling이, Test Data Provisioning을 CI/CD Pipeline에 통합하는 데 도움이 될 수 있다고 생각합니다. 이러한 접근 방식은 Cloud기반 Non-production환경에 올바른 Test Data를 구현하는 데도 도움이 될 수 있습니다.
Data validation approaches
Business의 의사결정을 위한 데이터 사용이 증가함에 따라, 데이터의 정확성과 Quality에 대한 검증이 매우 중요해지고 있습니다.
설문 조사에서 응답자의 46%가 현재 데이터 검증을 매우 중요한 기능으로 보고 있으며, 44%는 이 분야가 앞으로 매우 중요해질 것이라는 데 동의하는 것으로 나타났습니다. 데이터 검증에서 기대되는 Benefit에 대한 질문에서, 응답자의 89%는 강력한 데이터 검증 역량이 시간 및 자원 측면에서 효율성을 향상시킬 뿐만 아니라, Business 의사결정을 개선하는 데 있어 중요한 도움이 될 것이라는 데 동의했습니다.
이와 유사한 수준에서, 88%의 응답자가 강력한 데이터 검증 역량이 고객 만족도 및 통찰력의 정확성에 직접적인 영향을 미치고 있으며, 이 기능이 Business 수익성을 높이는 데 도움이 될 것이라는 데 동의하였습니다. 효과적인 데이터 검증이 Business성과에 매우 중요하다는 확신이 압도적으로 많습니다.
What should organizations focus on?
Test Data Provisioning에 대한 올해의 설문 조사에서 관찰한 주요 내용은 다음과 같습니다.
- 언제든지 Test Data에 접근할 수 있도록, Cloud기반 전사 Test Data Management전략을 채택하는 경향이 증가하고 있습니다.
- 많은 조직들은 여전히 Test Data의 On-premise복사본에 편향된 전략을 적용하고 있습니다.
- CI/CD Pipeline과 통합된 Test Data Provisioning Process 자동화는 여전히 대부분의 조직에서 성숙될 필요가 있습니다.
5) Quality and Sustainable IT
Introduction
지속 가능한 컴퓨팅(Sustainable Computing)을 홍보하기 위해 가장 잘 알려진 프로그램 중 하나는 30년 전(1992년)의 사례입니다. 미국 환경보호청(US Environmental Protection Agency)이 주관한 자발적 참여 프로그램으로, 컴퓨터 기기의 에너지 효율 가시성을 장려하는 ‘Energy Star’ Labeling Program으로 불렸습니다.
Source: https://www.efficiencyvermont.com/products-technologies/electronics/computers-monitors
이후 IT 지속가능성(IT Sustainability)은 탄소 배출에 대한 집중적인 관심에서부터, 보다 광범위한 환경, 사회 및 거버넌스 측면(ESG Framework)까지 부각되었습니다. 지속가능성(Sustainability)은 조직들이 지구와 사회 전반에 어떠한 해도 끼치지 않고 운영을 지속할 수 있는 능력과 연관이 있습니다. 대부분의 조직들은 이러한 임무를 목표와 일정이 명확하게 정의된 실행 단계로 전환해왔습니다.
Sustainable Quality Engineering은 지속가능한 IT(Sustainable IT)를 달성하도록 돕는 Quality Engineering입니다. Quality가 높을수록 자원 낭비를 줄이고 효율성을 높일 수 있습니다. 보다 넓은 관점에서 볼 때, Business를 운영하면서 Sustainable Practices에 초점을 맞추고 있는 조직들은, Quality에 집중하지 않을 수 없습니다. “Shifting Quality Left”는 새로운 개념이 아니며, 효율성을 높일 수 있는 유일한 지속 가능한 방법입니다. 간단히 말해서, Quality 없이는 지속가능성(Sustainability)이 없습니다!
이번 장의 목표는 조직들이 어떻게 Quality Framework와 자동화 도구들을 활용하여, Sustainable IT로 나아가기 위한 더 높은 Sustainability을 추진하고 있는지에 대해 보다 자세히 살펴보는 것입니다.
The role of quality within sustainable IT is still evolving
조직들이 Sustainable IT 전략의 일환으로 Sustainable Quality Engineering을 활용할 때 얻을 수 있는 Benefit을 순위로 매긴다면, 명확하게 우세한 항목이 있다고 말하기는 어렵습니다. ‘Brand Value’와 ‘Loyalty’는 Quality Engineering이 기여할 수 있는 가장 큰 Benefit으로 간주되지만, 다른 Benefit에 대해서는 크게 리딩하지 못하고 있습니다.
설문 조사에서도 동일한 관점이 반영되어 있습니다. 82% 이상의 조직들이 Quality Engineering이 Sustainable IT의 ‘사회적(Social)인 측면’에 가장 큰 영향을 미칠 것이라고 생각하기 때문입니다. 이는 Sustainable IT에 포함된 Quality Engineering이 ‘Brand Value’에 대해 가장 큰 Benefit을 제공하고 있다는 의견과 일치합니다. 72%의 조직만이 Quality가 Sustainable IT의 ‘환경적(Environmental)인 측면’에도 기여할 수 있다고 생각합니다. 조직이 환경적으로 지속 가능하려면, 가용자원을 최적화하여 사용하는 방법을 학습해야 합니다. Quality는 이것을 달성하는 방법에 대해 보다 강력한 전략적인 초점을 제시해 줍니다. Quality는 Sustainable IT를 추진하기 위한 전략의 핵심 부분이 되어야 합니다.
Teams don’t test for sustainability attributes consistently
Team들이 테스트하고 있는 Sustainability의 속성은 무엇인지, 그리고 얼마나 자주 테스트하는지에 대한 질문에 대해, 결과는 전반적으로 거의 비슷한 수준을 보이고 있습니다. 조직들은 Team들이 모든 속성들을 테스트하지만, 가끔씩만 테스트한다고 보고하고 있습니다. 이러한 조직들 중 얼마나 많은 수가 Sustainability 목표를 채택했는지에 대한 맥락에서 이 결과 데이터를 고려해야 하지만, 데이터들이 Team에 대한 특정 패턴이나 중점 영역을 가리키고 있지는 않습니다. Quality Engineering 활동은 모든 Sustainability 속성에 동일하게 분산되어 있는 것으로 보이며, 이는 올바른 방향으로 나아가는 단계처럼 느껴집니다.
What are the tactical benefits of quality towards sustainable IT?
단기적으로 Quality가 Sustainable IT에 가져올 수 있는 Tactical Benefits에 대해 질문을 받은 조직들은, 흥미롭게도 Cloud Environment, Test Optimization 및 Resource Efficiency를 언급하고 있습니다. Application Performance와 Customer Experience는 마지막을 차지했습니다. 이 설문 결과는, 앞서 살펴본 바 있는 Quality가 주는 환경적(Environmental)인 영향도는 높지 않지만, Brand Value에 끼치는 영향도는 높다라고 답변했던 이전의 설문 결과와 다소 모순이 되는 답변입니다.
우리는 Resource Efficiency를 개선하는 유일한 방법은 Quality를 높이는 것이며, 이는 조직들이 탄소 배출량을 줄이는 데 직접적인 영향을 끼친다는 데 동의합니다. Quality Focus 또한 Sustainable IT가 모든 측면(인간, 사회 및 환경)에서 구현하는 것을 정의, 측정 및 통제하는 전반적인 Maturity Framework를 개선하는 데 도움이 될 것입니다.
Where do we go from here?
설문조사의 주요 결과를 살펴보는 동안, 우리는 수학자 Abraham Wald가 제안한 것과 같은 “생존 편향(Survival Bias)””을 고려할 필요가 있었습니다.
Source: https://en.wikipedia.org/wiki/Survivorship_bias
그는 돌아오는 항공기들이 총알에 맞은 곳을 도표로 그려서, 군용기의 어느 부분에 철갑(Armor)이 더 많이 필요한지 분석하고 있었습니다. 그가 분석하는 동안, 그는 가장 많이 타격을 입은 구역을 강화하는 것에 초점을 맞추는 대신, ‘손상되지 않은 구역을 강화’하는 데 초점을 맞추었습니다. 해당 구역들이 손상되지 않은 한 항공기들이 기지로 다시 돌아올 수 있다는 것을 잘 이해하고 있었기 때문입니다.
데이터는 Quality와 Sustainable IT 사이의 관계에서 일부 측면만을 보여주지만, “생존 편향(Survival Bias)” 또는 데이터가 직접적으로 보여주지 않는 것을 고려할 때, 더 큰 그림이 그려질 수 있습니다. Quality가 Sustainable IT의 목표를 주도하는 데 보다 효과적으로 사용될 수 있는 여지가 많습니다. “Sustainable Quality Gate”를 구축하는 수준까지 진행 상황을 측정, 통제 및 정량화하기 위해서는, 일관된 Framework가 필요합니다.
이것은 전략적인 Quality Focus 없이는 가능하지 않습니다. Quality없이 지속 가능한 것은 없습니다. 우리는 Quality와 Sustainable IT 간의 연결이 앞으로 강화될 것이라고 굳게 믿고 있으며, 앞으로도 지속 가능한 IT가 발전할 것으로 기대하고 있습니다.
6) Quality Engineering for Emerging Technologies
Introduction
모든 기술은 해당 기술의 수명을 결정하는 TLC(Technology Life-cycle)라고 불리는 명확한 궤적을 따릅니다. 어떤 기술은 수명이 길고 시간에 따라 약간의 변화가 있는 반면, 어떤 기술은 수명이 매우 짧습니다. 이것은 기술의 발전을 분석하는데 있어 흥미로운 요소입니다.
Emerging Technology를 위한 Quality Engineering에 대해 살펴볼 때, 두 가지 차원을 고려할 필요가 있습니다. 첫 번째 차원은 이러한 신기술이 현실 세계의 Use Case로 구현될 때 Quality의 역할입니다. 이들은 어떻게 테스트해야 할까요? 기존 자동화 도구와 Framework를 적용할 수 있을까요? Quality는 이러한 구현의 성공을 보장하는 데 있어, 중심적인 역할을 할 것입니다.
두 번째 차원은 Emerging Technology가 Quality Engineering Practice에 미치는 영향입니다. 우리는 이전에 인공지능(AI)과 같은 특정 기술이 Quality Engineering에 미치는 영향을 자세히 살펴봤습니다. 보다 많은 Emerging Technology들이 꾸준히 미래에 대한 연관성을 가지고 있습니다.
따라서, 혁신을 따라가기 위해서는 Emerging Technology와 Quality 사이의 2차원적인 관계를 연구하는 것이 흥미로울 뿐만 아니라 필수적입니다. 이번 장에서는 어떤 Emerging Technology들이 조직차원의 전략에서 본질적인 부분이며, Quality Engineering에서 가장 큰 영향을 미치고 있는 것은 무엇인지, Quality Engineering practice를 적용하기 위해 어떤 변화가 필요한지 이해하려고 시도할 것입니다.
Technological big bets for the future
우리는 Quality Engineering 측면에서 살펴보기 전에, Emerging Technology 조직들이 미래를 위해 어떤 영역에 도전하고 있는지 알고 싶었습니다. 대부분의 조직들은 미래를 위한 Decentralization 테마에 도전하고 있는 것으로 보입니다. 설문 응답자의 80% 이상이 IT전략의 우선순위로 Blockchain과 Web 3.0을 꼽았습니다. 우리는 금융 영역을 초월하여 계약 관리, 디지털 자산, NFT(Non-Functible Token) 등으로 넘어가는 모든 Blockchain기반 애플리케이션을 관찰했습니다. Web 3.0은 여전히 정의중에 있으며, 그것이 의미하는 바에 대해 보편적으로 인정되는 정의는 아직 없지만, 동일한 Decentralization 테마 및 Blockchain과 관련이 있습니다.
Impact on quality engineering as a discipline
Emerging Technology가 Quality Engineering에 어떤 영향을 주고 있을까요? 설문 조사 결과는 대부분의 응답자가 Emerging Technology를 통해 원활한 사용자 경험을 주도하고, 테스트 환경 및 데이터 관리에 있어 도약(Leaps)할 수 있도록 도와주길 기대한다는 점에서 아주 흥미롭습니다. Blockchain과 Web 3.0에 우선순위를 두는 것은, 전통적으로 테스트 환경과 데이터를 관리하는 방식에 변화를 가져올 것입니다. 테스트 환경과 데이터를 관리하기 위해 더 적게 통제하고 분산시키는 방법은, 현재의 과제들 중 일부를 해결할 수 있습니다. 그러나, 이것은 새로운 복잡성을 야기할 것입니다.
Is quality engineering still relevant for the future of technology?
그렇다면, Emerging Technology에 대한 Quality Engineering전략이 없을 때의 Risk는 무엇이 있을까요? 응답자의 96%가 Cyber-attacks을 가장 큰 Risk로 선정하였는데, Cyber-attacks의 위협이 대부분의 리더들을 밤을 지새게 만드는 요인으로 보입니다. 비슷한 수준에서 응답자의 92%가 Business 성장 전략과 어긋나게 된다는 답변을 선택한 반면, 91%는 Quality Engineering을 갖추지 못한데 따르는 Risk로서 Emerging Technology 구축비용의 증가를 선택했습니다. 이는 전통적인 우려 사항이지만, 현실 세계의 Use Case로 Emerging Technology를 구현하는 데 있어, Quality가 중심적인 역할을 한다는 강력한 증거이기도 합니다.
7) Value Stream Management
Introduction
Quality & Test Function에 대해 기대하는 것 중 하나는, S/W Development Process에서 Business 및 최종 사용자가 예상하는 Value를 제공하고 있는지 확인하고 보장하는 것입니다.
하지만, 실제로는 많은 Team과 조직들이 Value 성과를 가시화하고 관리가능 하도록 만들어 내기 위해 고군분투하고 있습니다.
올해 우리가 살펴본 새로운 트랜드 중 하나는 가치흐름관리(Value Stream Management)이며, 이것이 얼마나 널리 퍼져 있는지, 어떻게 사용되고 있는지, 그리고 이를 중심으로 어떤 트랜드가 전개되고 있는지에 관한 것입니다.
용어 참고. Value Stream Management
가치 흐름 관리(Value Stream Management)는 IT에서 Business에 이르기까지 S/W의 Value, Flow 및 Quality를 개선하기 위해 검증된 접근 방식입니다.
핵심적으로, Value Stream Management는 SDLC의 거시적 관점을 제공합니다. 조직이 여러 부서 간에 숨겨진 사일로(silos), 장애물, Risk지점 및 비효율성을 발견할 수 있도록 지원합니다. 일단 발견되면, 이러한 Team은 이러한 문제를 해결하고 각 개발 단계에서 고객의 Value를 극대화하는 데 집중할 수 있습니다.
Source: https://valueedge.microfocus.com/what-is-vsm/
Value outcome of quality assurance and test activities
항상 그렇듯이, 우리는 경영층(Senior Management)에게 Quality & Test Activity를 위한 가장 중요한 목표가 무엇인지 물어보았습니다. 이 질문의 결과는 Quality & Test Function에서 조직들이 기대하는 Value가 무엇인지를 나타내고 있습니다.
Business Assurance(Business 성장 및 성과 지원) 및 End-user Satisfaction이 가장 중요한 목표로 꼽혔습니다. 지난해 2위 안에 들던 Quality at Speed 달성 관련 목표는 전반적인 결과에서는 낮아졌지만, 성숙도 높은 자동화기반 Agile Team을 보유하고 있다고 밝힌 기업들은, 이러한 작업 방식을 채택하기 이전의 다른 기업들에 비해, 속도감 있게 Quality를 향상시키는데 더욱 집중하고 있다고 답변했습니다.
우리가 인터뷰한 대부분의 조직에서는 ‘결함을 찾는 것(Finding Faults)’이 업무의 우선순위가 아님을 보여주고 있는데, 이것이 표준적인 기대가 되고 있음을 나타내고 있습니다.
Business value
Quality & Test Function에 대한 가장 중요한 기대 중 하나가 Business 성과와 Value를 보장하는 것이라면, Business 성과에 대한 기대에 맞추어 조정하는 것이 중요합니다. 이를 더 잘 이해하기 위해, 우리는 조직들이 가장 Value있다고 생각하는 것들이 무엇인지 조사했습니다. 우리는 응답자들에게 조직에 가장 큰 Value를 가져다 준다고 생각하는 세 가지 중점 영역을 평가하도록 요청함으로써 이를 수행했습니다.
브랜드 이미지(Brand Image), 신뢰성(Reliability), 고객 유지율(Customer Retention)이 Top 3에 올랐습니다.
이 질문의 결과는 조직마다 다르겠지만, 조직을 위해 이 질문을 하는 것은 Value Stream Management를 향한 올바른 방향으로 나아가는 한 단계입니다.
일단 조직에 필요한 Key Target Value를 알게 되면, Value Stream Mapping 및 Value Stream Management를 통해, 조직이 Value 성과를 보다 효과적이고 지속적으로 관리할 수 있습니다.
Value stream mapping
우리는 응답자들에게 현재 Value Stream Mapping 개념을 사용하고 있는지 물었습니다. 응답자의 대다수(60%)가 거의 매번 이 방식을 사용하고 있다고 답변하였습니다.
Value Stream Mapping은 고객에게 전달하는 재료(Material) 및 정보 흐름 프로세스의 현 상태를 분석하는 Lean Process입니다.
중요한 것이 무엇인지 확인하고, 각 단계에서 시간과 부하(Time and Loads)를 파악하면, 정보가 어디로 이동하는지 알 수 있으며, 낭비요소를 제거하거나 줄이고, 효율성을 개선하기 위한 결정을 내릴 수 있습니다.
Value Stream Mapping 및 사용 방법에 대한 국제 표준은 없지만, 그 원칙은 잘 알려져 있고 Lean Approach로 이해될 수 있습니다. 이 영역에서 자동화 도구들을 더 많이 사용하고 이해함에 따라, 우리는 Value Stream Mapping 점수를 비교하여 어떤 것이 고객 또는 투자자에게 최고의 Value를 제공하는지 확인하는 데 사용될 것으로 기대하고 있습니다.
What should organizations focus on?
Value Stream Management 및 Value Stream Mapping은 조직과 Team이 S/W개발의 실제 Value 성과를 보다 효과적으로 제어할 수 있도록 지원하는 중요한 개념입니다. 우리의 설문조사는 Value 성과에 대한 조직의 기대가 시간이 지남에 따라 발전한다는 것을 보여줍니다. 우리는 또한 Quality Engineering 및 Testing Activity가 Value Stream을 평가, 측정 및 관리하는 데 중요한 역할을 한다는 것을 알게 되었습니다.
World Quality Report에서는 다음과 같은 권장 사항을 제공하고 있습니다.
-
IT PJT의 Business 목적과 목표가 모든 Team 구성원 및 이해관계자에게 정의되어 있고 명확한지 확인합니다.
-
Business Owner 및 Project Owner와 함께 Testing & Quality Activity에서 기대하는 Value 성과를 정의합니다.
-
각 PJT의 Business 목표와 연결된 구체적이고 측정 가능한 Value Indicator를 정의합니다.
-
Quality 및 Test 결과가 이러한 Value Indicator와 연결되고 관련이 있는지 확인합니다.
-
이해관계자와 Team 구성원이 Value Indicator의 진행상황 및 발전을 지속적으로 볼 수 있는 Value Dashboard를 구현합니다.
이상으로 World Quality Report(2022-23)에 대한 정리를 마치도록 하겠습니다.(참고로, 이후에 이어지는 내용은 ‘Sector Analysis’이며, 공공, 제조, 금융, 통신, 의료 등 영역별 분석을 담고 있습니다. 해당 내용은 이번 글에서 다루지 않고 있으므로, 전체 내용이 담긴 원문을 참조하여 주시기 바랍니다.)
감사합니다.
[끝]