Vol.6(통권 67호) ■

수년 전 어느 자동차 부품 회사에서 발생한 일이다. 그 회사가 소속된 그룹사의 회장이 새로 개발한 부품이 장착된 완성차를 시승하러 왔다. 그런데 하필 시승 과정에 그 부품의 오작동이 발생했다. 결국 회장은 화를 냈고, 그 신제품 개발 관계자들은 노심초사하는 사태가 벌어졌었다. 이런 일이 어디 이 회사만의 일이겠는가? 이런 상황을 경험한 많은 경영진들은 직원들에게 자주 신경질적으로 묻는다. “확실해?”라고 물으면, 직원들은 대부분 기어 들어가는 목소리로“확실합니다.”라고 답한다. 그러나, 마음속으로는“내가 신도 아닌데, 확실한지 어떻게 알아?”라고 생각할지도 모른다.
이런 일이 벌어지는 중요한 원인 중 하나는 실험 결과의 분석 및 예측 방법의 부적절성에 있다. 그 대책으로서‘모의실험(Simulation)의 효과적인 활용’을 제안하고자 한다.

평균만을 고려한 실험 결과 분석의 함정
예를 들어, 어느 엔지니어가 X1, X2, X3 세 개의 요인이 포함된 실험을 했고, 실험 결과 X1, X2 두 개의 요인만이 결과치(Y)에 의미 있는 영향을 준다는 것을 알았다고 가정하자(그림 1)

원하는 결과치(Y)의 Spec은 60 이상이다. 그림 1처럼 X1, X2 요인을 각각 실험조건‘1’에 맞출 때, Y의 예측되는 결과는 72.58632이다. 이럴 경우 아마도 다수의 엔지니어들은 Spec인 60에 비해 약 12.6이 높은 수치로 매우 우수한 결과로 평가하여‘확실해’라고 결론을 내릴 것이다.
정말 그럴까? 실제로 생산 과정에서 불량률이 얼마나 예상될까? 이런 질문에‘확실하게’결론을 내리기 위해서는 단지 평균만이 아니라 각 요인의 산포까지 고려해야만 한다.


모의실험을 통해 산포까지 고려한 실험 결과의 분석
산포까지 고려하는 모의실험 방법으로 가장 대표적인 것이 몬테 카를로 시뮬레이션(Monte Carlo Simulation)이다. 데이터 분석용으로 최근 많은 각광을 받고 있는 통계분석 소프트웨어를 이용하여 시뮬레이션한 결과는 그림 2 및 그림 3과 같다.

그림 2는 X1 및 X2 요인의 산포를 반영하여 시뮬레이션 한 것으로 불량률이 1.3%로 추정된다는 결론을 얻었고, 그림 3은 중요하지는 않으나 결과치(Y)에 약간의 영향을 미치는 X3 요인까지의 산포를 반영하여 시뮬레이션한 것으로 불량률이 3.31%으로 예측된다는 분석 결과를 얻었다. 실제 상황에서는 X3 요인 또한 결과치(Y)에 영향을 미치므로 그림 3의 결과가 실제 예상되는 결과라 할 수 있다.


모의실험으로 분석 결과의 확실성을 높이자
즉, 우리는 실험 결과 중요한 요인들의 산포와 그 외 요인들에 의한 산포까지 고려한 몬테 카를로 시뮬레이션을 실시한 결과가 원하는 수준을 만족했을 때,“확실합니다!”라고 답할 수 있는 요건이 갖추어 졌다고 말할 수 있을 것이다. 이러한 시뮬레이션은 실제로 추가 실험을 한 것이 아니라, 이미 실시한 실험 결과에 근거해 실시한 것으로 적어도 추가실험에 따른 비용을 초래하지는 않는다.

몬테 카를로 시뮬레이션과 같은 모의 실험을 이용하면, 상대적으로 적은 예산으로도 신제품 개발이나 개선안의 실행에서 발생할 수 있는 위험을 감소시키고, 확실성을 향상시킬 수 있다.“확실해?”라는 질문에 엔지니어들이 훨씬 자신 있게“확실합니다!”라고 답할 수 있을 것이다.