평생 숫자로 구성된 된 데이터만 다룰 줄 알았니?
고객의 의견으로부터 자유로운 비즈니스는 없고, 고객의 의견을 담은 데이터는 그만큼 중요한 법입니다.
그래서 데이터 수집과 분석의 대상은 앱의 로그 데이터나 전환율, 매출 등에 국한 되진 않습니다.
코딩이나 특정 공식으로 빠르게 처리할 수 없고 몹시 주관적인,
그러나 처리가 힘든 만큼이나 중요한 정성적 Qualitative 데이터를 다뤄봅시다.
만족도 설문조사 1점 ~ 5점 평균 3.7점 - "이거 수치화 데이터 아닌가요?"
흔히 발견되는 이런 데이터는 사람의 의견을 수치 데이터로 정량화 (Quantify) 한 작업의 결과입니다.
이를 이용해 특정 제품이나 프로그램을 평가한다면, 그 자체로 충분하다 볼 수 있을까요? 정량화된 데이터니까?
•
정량 데이터로 외관을 만들었지만 결국 응답자의 주관적인 의견에서 나온 것이다
•
등간척도라 불리우는, "1점(매우 불만족) ~ 3점(중립) ~ 5점 (매우 만족)"의 판단도 응답자가 과연 좋고 나쁨의 정도를 엄밀하게 비교해 평가 했는지 알 수 없다
위와 같은 의문이 생기는 걸 볼 때, 흔히 사용하는 의견 점수 데이터가 여타 정량 데이터 (매출액, 방문자 수 등) 와 같은 객관성이 담보되는 어려워 보입니다.
이와 관련해서 대표적인 설문조사 플랫폼 서베이몽키의 포스팅을 참고해봐도 좋습니다
그러나 그렇다고 정성 데이터가 정량 데이터에 비해 쓸모 없거나 서로 배척되는 관계도 아닙니다. 생각해봐도, 만족도 설문조사에서 상대적으로 낮은 점수가 나온 프로그램은 대체로 구리긴 하니깐요.→ 아예 안 써먹기엔 그래도 설득력 있는 데이터이긴 해 ...
그러면 이러한 정성적인 데이터와 이를 기반으로 한 의사결정이 "타당성"을 갖추기 위해 어떤 보조 작업이 필요한지 파악해봅시다위대한 '비고' 데이터
아... 이 서식은 ...
문서에 들어간 표의 맨 우측에는 대개 '비고'란이 있습니다. 일종의 주석을 다는 것입니다.
해당 데이터를 해석할 때 필요한 부가 정보를 제공하는 기능이죠.
이를 미루어 볼 때 정성 데이터의 타당성 확보 역시 어려운 것이 아닙니다.→ 해당 데이터를 누구에게, 누가, 언제, 어떤 맥락에서, 어떤 방식으로 (등등) 확보 했는지 정보를 추가 기입해야 합니다.
→ 이는 Dependability 즉 "다시 의견을 물어도 같은 결과가 재현될 수 있는가?" 에 대한 타당성을 확보하는 핵심 방법입니다.
현실적으로 주관성의 영역인 정성적 리서치에서 재현성이 확보되기는 불가능합니다.→ 그렇기 때문에 데이터를 수집하고 조사하는 사람은 해당 조사 환경에 대한 정보 수집이 필수적이며 이를 주석이자 비고의 기능으로 풍부하게 달아야하는 것입니다.
→ 표가 지저분해져서 마음에 안 든다면 다른 시트에 넣어서 따로 관리하면 됩니다. 바로바로 열람할 수 있도록 조치를 취해둡니다.
인터뷰를 통해 취향과 의견을 데이터로
인터뷰이의 솔직한 평가
이제 사람의 주관적인 생각, 즉 비즈니스 상 '고객의 취향과 의견'을 확보해 분석 가능한 데이터로 만들어 봅시다.
그 방법 중 하나가 바로 인터뷰입니다.
인터뷰입니다.이를 위한 절차는 대략적으로 다음과 같습니다.
1.
인터뷰를 잘 설계하고
2.
인터뷰를 잘 진행해 데이터를 잘 모으고
3.
데이터를 잘 정리하기
말하기야 참 쉬우니 각 파트별로 자세한 팁을 알아봅시다 1. 인터뷰 잘 설계하기•
인터뷰이 "랜덤"하게 셀렉트
인터뷰든 설문조사든 응답자를 구하는 것이 쉬운 일은 아니겠지만,
리서치의 핵심은 "표본을 랜덤하게" 뽑는 것입니다.
랜덤이래서 무조건 임의로 뽑으라는 것이 아니라, 데이터의 출처 성격이 특정한 것에 편중되지 않게 뽑으라는 의미입니다.
그러니 우리는 인터뷰이를 모을 때
◦
서비스를 사랑하는 덕후도 인터뷰 하고
◦
적당히 필요에 따라 사용하는 라이트 유저도 인터뷰 하고
◦
될 수 있다면 해당 서비스에 부정적인 헤이터도 인터뷰 합시다
•
인터뷰 질문 만들기는 "미리 설정한 가설"에 따라
"가설은 'X가 궁금하다'가 아닌 'X는 Y할 것이다' 'X의 Y는 Z할 것이다'의 형태를 말합니다."
위 내용은 퍼블리publy 아티클 "고객은 자신의 문제를 모른다: 고객의 진짜 목소리를 끌어내는 법 - 김선영 著"에서 많은 도움을 받았습니다. (자세히 보기 - 삼각형 토글 클릭)◦
인터뷰를 통해 막연히 "서비스에 대해 어떻게 생각하세요" 라고 던진 후 열린 대답을 듣는 것이 아닌,
◦
"서비스 유저는 A 상황에서 B의 선택을 할 것이다" 라는 가설을 미리 정해둔 뒤
그것을 폐쇄형 대답으로 확인 받고 그에 관한 제반 정보(의견, 경험담, 선택 이유 등)를 확보하는 방식으로 진행되어야 합니다.
◦
인터뷰 질문을 만드는 방법은 결국 설문조사 질문지를 만드는 방법과 다르지 않습니다.
2. 인터뷰 잘 진행해 데이터를 모으기•
좋은 질문을 잘 만들어 놓고 질문하는 방식이 안 좋아서 인터뷰를 망쳐선 안 되겠죠?
질문을 던지는 방식은 아래와 같이 요약할 수 있습니다.
◦
경험 위주로 묻기
◦
다시 한번 묻기
◦
재촉하지 않기
위 내용도 퍼블리publy 아티클 "고객은 자신의 문제를 모른다: 고객의 진짜 목소리를 끌어내는 법 - 김선영 著"에서 많은 도움을 받았습니다. 해당 질문/대화법에 대한 자세한 내용은 아티클을 직접 확인하길 권장합니다 (자세히 보기 - 삼각형 토글 클릭)•
그 외에도 인터뷰와 설문조사를 실무적으로 준비하는 구체적인 팁을 소개한 글을 공유해드립니다.
3. 모은 데이터를 잘 정리하기•
위대한 '비고'를 잊지 말자
위에서 설명한 대로, 정성적인 데이터들은 수집 당시 환경이 매우 중요합니다.
응답의 내용적 측면 (ex. "A 서비스를 출근길 마다 접속한다") 외에도 해당 응답자의 유형(덕후인가? 헤이터인가?), 인터뷰 당시의 환경 등을 체계적으로 기록합니다.
→ 해당 주석들을 '종합적으로' 데이터를 해석함에 있어 반영합니다.
•
인터뷰 내용도 유형화 해야 한다 (쉽다고는 말하지 않았다)
◦
인간지능으로 답변 유형화
가설을 기준으로 인터뷰를 진행하게 되면 응답 역시 극단적으로 다양해지기보다는 특정 유형으로 수렴하게 됩니다.
해당 응답들을 골고루 + 여러번 검토하면서 특정 패턴들을 바탕으로 유형화해 데이터로 정리합니다.
사람의 언어로 답변되었고, 사람 대 사람의 대화로 구성된 인터뷰이므로 뉘앙스와 발화의 의도 등을 종합적으로 고려해 분류합니다.
◦
인공지능으로 답변 유형화
정리해야 할 응답의 양이 맨파워를 넘어서는 정도로 많아지면 텍스트분석 (감정분석, 자연어처리) 등의 인공지능의 도움을 받을 수 있습니다.
단, 닭 잡는 칼에 소 잡는 칼을 쓰는 것 과 같은 우화를 잘 생각하면서 머신러닝 모델 적용 여부, 효용성 등을 잘 따져보아야 합니다.
그 외에도
•
인터뷰, 설문조사를 통해 얻은 데이터를 바탕으로 의사결정을 할 때 다음과 같은 사항을 반영해야 합니다
◦
개별 응답자의 의견에는 편향bias이 있을 수 있다는 것
◦
개별 응답을 해석하는 우리 역시 편향bias이 있을 수 있다는 것
◦
인터뷰를 통해 얻은 '진실'을 엄밀하게 계량화하는 것은 애초에 불가능 하다는 것
◦
만족도는 언제나 상대적인 비교로 측정을 할 수밖에 없다
(5점 척도 중 평균 4.2점인 프로그램은 2.1점인 프로그램보다 2배 좋은 프로그램이라고 계산할 수 없음)
•
학술적으로는 (논문을 위한 조사 등) Confirmability 라고 해서 공동 연구 등을 해서 정성 조사의 타당성을 추가적으로 확보하는 걸 요구하기도 합니다.
김문과의 데이터