고객조사에 통계분석이 필요한 이유

고객조사 결과 데이터를 볼 때 통계분석이 왜 필요할까? 재구매 상품을 예측하거나 예상 물량을 산출하는 것처럼 복잡한 예측을 하려는 것도 아니고 단순히 설문결과를 보는 건데 말이다.

고객조사에 통계가 쓰이는 이유는 ‘숫자의 의미를 제대로 읽어내고, 어떤 숫자에 의미를 부여할 것인지 기준을 갖기 위해서’라고 생각한다. 반대로 말하면 통계분석을 하지 않으면 결과를 자의적으로 해석할 가능성이 높아진다. 또한 본인은 의미있는 차이라고 주장하는데, 경영진이나 투자자가 보기에 미심쩍은 경우가 생기는 것이다. 그외에 많은 학문적 이유가 있을 수 있겠지만, 지극히 개인적인 관점에서는 이 두 가지가 가장 중요한 것 같다.

고객조사 데이터의 특성

여기서 데이터란, 다양한 고객조사 방법 중에서 설문지로 수집한 정량데이터를 말한다.

‘설문조사’가 아닌 ‘설문지’라고 한 이유는, 다양한 고객조사 방법에서 설문지를 보조적으로 활용할 수 있기 때문이다. 온/오프라인으로 하는 설문조사 외에, 1:1 인터뷰나 FGI를 하면서도 설문지를 활용할 수 있다. 개인적으로는 그런 정성조사(Qualitative research)에서도 가급적 정량데이터를 수집하려 하는 편이다. 우선 리서치를 하는 본인이 편향을 최소화하면서 결과를 요약할 수 있고, 분석 결과를 다른 팀원이나 상사, 경영진과 커뮤니케이션할 때는 숫자가 효율적이기 때문이다.

그러나 글에서는 편의상 설문조사 데이터라고 통칭하기로 한다.

실무자가 고객조사 결과를 해석할 때는 숫자 자체의 특성과 설문조사라는 방법 때문에 두 가지 문제가 발생한다.

1. 무처럼 잘라지지 않는 숫자의 연속성

설문조사는 대표적인 정량조사 기법이다. 수집한 데이터의 집계값이 평균, 비율 등의 숫자로 딱 떨어지므로 요약과 비교가 편리하다. 하지만 숫자의 연속성 때문에 곤란한 측면도 있다.

검증하려는 아이디어에 대한 선호도가 7점 만점에 평균 6.8점이 나왔다고 해보자. 누가 봐도 좋은 반응이라고 해석할 수 있을 것이다. 반대로 3.2점이라면? 매우 안좋다. 고민의 여지가 없다. 물론 실제로 이런 일은 거의 벌어지지 않는다. 대개 설문조사에 사용된 7점척도 문항의 결과값은 평균 5.6점, 6.1점 이렇게 애매한 경우가 많다. 이건 좋은 걸까, 나쁜 걸까? 수많은 리서치를 통해 데이터와 분석 노하우를 축적한 마켓리서치 회사가 아닌 이상 판단하기 쉽지 않다.

두 값을 비교하는 경우도 마찬가지다. 예를 들어 A컨셉과 B컨셉에 대한 선호도가 각각 5.7점과 5.9점으로 나왔다고 해보자. 별 차이는 없어 보인다. 그런데 만약 평균 5.8점, 6.3점이었다면? 고객들이 B컨셉을 더 선호했다고 해석할 가능성이 높다. 물론 앞자리 수가 바뀌면서 차이가 커보이는 효과도 있고, 0.5점 차이는 아무래도 0.2점보다 큰 것만 같다.

그리고 현실은, 자기 아이디어에 푹 빠져 있을수록 앞의 경우조차 B의 반응이 좋았다고 보게 되는 경우가 많다. 숫자는 굉장히 객관적인 것 같지만 의외로 자의적으로 해석할 여지가 많은 도구이기도 한 것이다.

다시 숫자로 돌아와 아래의 경우를 각각 찬찬히 고민해보자. 그리고 마음속으로 ‘차이 있음’, ‘별 차이 없음’으로 해석표를 붙여보시기 바란다. 어느 정도 차이나면 의미있다고 볼 수 있을까?

선호도 평균 A : 5.8점 / B : 6.2점 A : 5.8점 / B : 6.1점 A : 5.9점 / B : 6.1점 A : 5.9점 / B : 6.0점 …..

어디서 짤라야 할까? 어느 정도 차이가 나야 의미있는 차이라고 볼 수 있을까?

사실 정말 좋은 컨셉은 반응이 확 튀기 때문에 선호도 평균에도 큰 차이가 난다. 하지만 그렇지 않은 경우가 대부분이므로 작은 숫자에 일희일비하며 의미부여하는 상황이 종종 벌어진다. 실무에서 벌어지는 장면은 대체로 이런 것이다.

다른 부서 담당자 : A가 더 높게 나왔네요. 분석자 : 네, 그렇긴 한데… 통계적으로 유의한 차이는 없었습니다. 오히려 정성데이터 결과는 B를 선호하는 이유가 더 구체적이고 우리 타겟고객 성향에 맞는 편입니다.

보고자 : B컨셉에 대한 반응이 가장 좋았습니다. 최종 선호도가 가장 높고, 세부 요소에 대한 평가도 대체로 높은 편입니다. 팀장 또는 경영진 : 다른 건 다 별로였나? 보고자 : A컨셉의 경우 사용편리성, 관리용이성만 95% 신뢰수준에서 유의한 차이가 있었습니다.

통계적으로 유의한 차이는 없다, 통계적으로 유의한 차이가 있었던 건 OOO였다… 결국 수많은 숫자 중에 어디에 의미를 부여해서 읽을 것인가의 문제다. 통계분석은 여기에 기준점을 더해준다. 물론 절대적인 판단 기준은 아니지만, 최소한 서로 커뮤니케이션 할 때 동일한 기준으로 할 수 있게 맞춰준다는 것이다.

2. 일부를 보고 전체를 판단해야 하는 설문조사

통계적으로 유의한 차이가 있었다는 건 무슨 말일까? 깊이 파고들면 귀무가설의 검정, …등의 내용이 있지만, 비즈니스 실무하면서 전문용어가 난무할 수는 없는 일이다.

위에서 ‘A가 더 높네요’라고 말한 다른 부서 팀원에게 해주고 싶은 진짜 얘기는 조금 단순화하면 이런 것이다. 이번 설문에서는 A와 B의 선호도에 약간 차이가 있었지만, 다른 집단을 뽑아서 다시 조사해보면 두 값이 비슷하게 나올 수도 있다. 즉 이 차이는 우연에 의한 것일 가능성이 있다는 점이다.

설문조사 뿐만 아니라 고객조사 자체가 기본적으로는 일부 표본을 통해 전체의 특성을 이해하려는 시도이다. 이를 표본집단과 모집단이라고 한다.

여기 귤 한 박스가 있다고 해보자. 당도를 알아보려고 위에서 하나, 맨 밑에서 하나씩 꺼내서 먹어봤다. 둘 다 달고 맛있어서 안심하고 이 박스를 구입했다. 집에 와서 나머지 귤을 먹어보니 역시 모두 비슷하게 맛이 있었다.

이번에는 귤을 한 컨테이너 구입하려고 한다. 지난번과 같은 방법으로 두 박스를 검사해봤더니 비슷한 맛이 나길래 구입했다. 그런데… 다른 박스들은 상자 밑에 신 귤이 잔뜩 깔려 있었다. 검사한 두 박스는 괜찮았지만 전체적으로 당도의 편차가 컸던 것이다.

도대체 얼마나 검사해 봐야 했을까? 열 박스? 스무 박스? 한 상자에서 최소 몇 개씩 꺼내봐야 했을까?

내가 가진 데이터에서 드러나는 차이가 우연에 의한 것인지, 실제로 타겟 고객집단 전체가 그런 성향을 띤다고 봐도 되는지를 구분할 수 있어야 한다. 그래야 분석 결과를 일반화할 수 있는 것으로 보고, 의사결정에 자신있게 활용할 수 있다. 이와 같은 이유 때문에, 그래서 설문조사와 같은 고객조사 데이터에는 가급적 통계분석을 이용해야 한다는 것이다. 그리고 그러기 위해서는 처음부터 분석방법을 염두에 두고 문항을 설계해야 한다.

물론 신제품 개발의 어느 단계에서 실시한 설문조사인지에 따라 통계분석의 중요성이 달라지기는 한다. 하지만 초반의 탐색 단계에서 후반의 검증 및 실험으로 갈수록 분명히 필요하다.

P.S. 통계학을 전공한 분들이 보시기엔 부족한 부분이 많은 글일 것 같습니다. 시리즈를 제대로 시작하기도 전에 내가 왜 이 길을 걷기 시작했나 고뇌하는 중입니다. 하지만 저잣거리 장사치에게도 나름의 경험은 쓸만한 부분이 있을거라 생각합니다. 넓은 마음으로 양해해주시고, 너무 아프지 않게 지적해주시면 정말 감사하겠습니다.