평생 숫자로 구성된 된 데이터만 다룰 줄 알았니?
고객의 의견으로부터 자유로운 비즈니스는 없고, 고객의 의견을 담은 데이터는 그만큼 중요한 법입니다.
그래서 데이터 수집과 분석의 대상은 앱의 로그 데이터나 전환율, 매출 등에 국한 되진 않습니다.
코딩이나 특정 공식으로 빠르게 처리할 수 없고 몹시 주관적인,
그러나 처리가 힘든 만큼이나 중요한 정성적 Qualitative 데이터를 다뤄봅시다.
만족도 설문조사 1점 ~ 5점
평균 3.7점 - "이거 수치화 데이터 아닌가요?"
흔히 발견되는 이런 데이터는 사람의 의견을 수치 데이터로 정량화 (Quantify) 한 작업의 결과입니다.
이를 이용해 특정 제품이나 프로그램을 평가한다면, 그 자체로 충분하다 볼 수 있을까요? 정량화된 데이터니까?
•
정량 데이터로 외관을 만들었지만 결국 응답자의 주관적인 의견에서 나온 것이다
•
등간척도라 불리우는, "1점(매우 불만족) ~ 3점(중립) ~ 5점 (매우 만족)"의 판단도 응답자가 과연 좋고 나쁨의 정도를 엄밀하게 비교해 평가 했는지 알 수 없다
위와 같은 의문이 생기는 걸 볼 때, 흔히 사용하는 의견 점수 데이터가 여타 정량 데이터 (매출액, 방문자 수 등) 와 같은 객관성이 담보되는 어려워 보입니다.
이와 관련해서 대표적인 설문조사 플랫폼 서베이몽키의 포스팅을 참고해봐도 좋습니다 
위대한 '비고' 데이터
아... 이 서식은 ...
문서에 들어간 표의 맨 우측에는 대개 '비고'란이 있습니다. 일종의 주석을 다는 것입니다.
해당 데이터를 해석할 때 필요한 부가 정보를 제공하는 기능이죠.
인터뷰를 통해 취향과 의견을 데이터로
인터뷰이의 솔직한 평가
이제 사람의 주관적인 생각, 즉 비즈니스 상 '고객의 취향과 의견'을 확보해 분석 가능한 데이터로 만들어 봅시다.
그 방법 중 하나가 바로
인터뷰입니다.
이를 위한 절차는 대략적으로 다음과 같습니다.
1.
인터뷰를 잘 설계하고
2.
인터뷰를 잘 진행해 데이터를 잘 모으고
3.
데이터를 잘 정리하기
•
인터뷰이 "랜덤"하게 셀렉트
인터뷰든 설문조사든 응답자를 구하는 것이 쉬운 일은 아니겠지만,
리서치의 핵심은 "표본을 랜덤하게" 뽑는 것입니다.
랜덤이래서 무조건 임의로 뽑으라는 것이 아니라, 데이터의 출처 성격이 특정한 것에 편중되지 않게 뽑으라는 의미입니다.
그러니 우리는 인터뷰이를 모을 때
◦
서비스를 사랑하는 덕후도 인터뷰 하고
◦
적당히 필요에 따라 사용하는 라이트 유저도 인터뷰 하고
◦
될 수 있다면 해당 서비스에 부정적인 헤이터도 인터뷰 합시다
•
인터뷰 질문 만들기는 "미리 설정한 가설"에 따라
"가설은 'X가 궁금하다'가 아닌 'X는 Y할 것이다' 'X의 Y는 Z할 것이다'의 형태를 말합니다."
◦
인터뷰를 통해 막연히 "서비스에 대해 어떻게 생각하세요" 라고 던진 후 열린 대답을 듣는 것이 아닌,
◦
"서비스 유저는 A 상황에서 B의 선택을 할 것이다" 라는 가설을 미리 정해둔 뒤
그것을 폐쇄형 대답으로 확인 받고 그에 관한 제반 정보(의견, 경험담, 선택 이유 등)를 확보하는 방식으로 진행되어야 합니다.
◦
인터뷰 질문을 만드는 방법은 결국 설문조사 질문지를 만드는 방법과 다르지 않습니다.
•
위대한 '비고'를 잊지 말자
위에서 설명한 대로, 정성적인 데이터들은 수집 당시 환경이 매우 중요합니다.
응답의 내용적 측면 (ex. "A 서비스를 출근길 마다 접속한다") 외에도 해당 응답자의 유형(덕후인가? 헤이터인가?), 인터뷰 당시의 환경 등을 체계적으로 기록합니다.
→ 해당 주석들을 '종합적으로' 데이터를 해석함에 있어 반영합니다.
•
인터뷰 내용도 유형화 해야 한다 (쉽다고는 말하지 않았다)
◦
인간지능으로 답변 유형화 
가설을 기준으로 인터뷰를 진행하게 되면 응답 역시 극단적으로 다양해지기보다는 특정 유형으로 수렴하게 됩니다.
해당 응답들을 골고루 + 여러번 검토하면서 특정 패턴들을 바탕으로 유형화해 데이터로 정리합니다.
사람의 언어로 답변되었고, 사람 대 사람의 대화로 구성된 인터뷰이므로 뉘앙스와 발화의 의도 등을 종합적으로 고려해 분류합니다.
◦
인공지능으로 답변 유형화 
정리해야 할 응답의 양이 맨파워를 넘어서는 정도로 많아지면 텍스트분석 (감정분석, 자연어처리) 등의 인공지능의 도움을 받을 수 있습니다.
단, 닭 잡는 칼에 소 잡는 칼을 쓰는 것 과 같은 우화를 잘 생각하면서 머신러닝 모델 적용 여부, 효용성 등을 잘 따져보아야 합니다.
그 외에도
•
인터뷰, 설문조사를 통해 얻은 데이터를 바탕으로 의사결정을 할 때 다음과 같은 사항을 반영해야 합니다
◦
개별 응답자의 의견에는 편향bias이 있을 수 있다는 것
◦
개별 응답을 해석하는 우리 역시 편향bias이 있을 수 있다는 것
◦
인터뷰를 통해 얻은 '진실'을 엄밀하게 계량화하는 것은 애초에 불가능 하다는 것
◦
만족도는 언제나 상대적인 비교로 측정을 할 수밖에 없다
(5점 척도 중 평균 4.2점인 프로그램은 2.1점인 프로그램보다 2배 좋은 프로그램이라고 계산할 수 없음)
•
학술적으로는 (논문을 위한 조사 등) Confirmability 라고 해서 공동 연구 등을 해서 정성 조사의 타당성을 추가적으로 확보하는 걸 요구하기도 합니다.