응답 품질 점수란?
응답 품질 점수는 오픈서베이가 자체 개발한 알고리즘을 통해 응답 데이터의 신뢰도를 평가하는 종합 지표입니다. 이 점수는 크게 두 가지 핵심 요소를 바탕으로 산정됩니다.
패턴 기반 점수: 응답 시간, 직선형 응답(줄 세우기) 등 응답 패턴을 분석해 성실도를 측정합니다.
AI 응답 품질 점수: AI가 주관식 응답 내용을 직접 분석하여 질문과의 연관성 및 답변의 질을 평가합니다.
수집 그룹 생성 시 ‘AI 응답 품질 검수’ 기능을 활성화하면 이 두 가지 점수가 모두 고려된 최종 응답 품질 점수가 산출되며, 기능을 끄더라도 패턴 기반 점수를 통해 응답 품질을 확인할 수 있습니다.
왜 응답 품질 점수가 필요할까요?
1️⃣ 의미 있는 응답인지 확인해야 할 때
온라인 설문에서는 일부 응답자가 질문을 충분히 읽지 않고 응답하거나, 의미 없는 내용을 입력하는 경우가 발생할 수 있습니다.
“주관식 질문에 ‘ㅎㅎ’, ‘모름’, ‘없음’ 같은 답변이 많이 들어왔어요.
이 응답들을 어떻게 판단해야 할까요?” 🤔
이때 응답 품질 점수를 활용하면 AI가 응답 내용과 질문의 의도를 함께 고려해 응답의 성실도를 평가합니다. 이를 통해 응답이 얼마나 성의 있게 작성되었는지 객관적인 기준으로 확인할 수 있습니다.
2️⃣ 대규모 설문에서 데이터 검수 시간을 줄여야 할 때
응답 수가 많아질수록 데이터 검수에 필요한 시간도 함께 늘어납니다. 특히 주관식 응답이 많으면 모든 응답을 직접 확인하는 데 상당한 시간이 소요됩니다.
“응답이 몇 천 개라서 데이터를 검수하는 데 시간이 너무 오래 걸려요.
검수 과정을 좀 더 효율적으로 진행할 수 없을까요?” 🤔
AI 응답 품질 검수를 활성화하면 AI가 먼저 품질을 판단해 주기 때문에 검토가 필요한 응답을 빠르게 파악할 수 있고, 데이터 검수 시간을 줄여 분석 본연의 업무에 더 집중할 수 있습니다.
응답 품질 점수 산정 기준
응답 품질 점수는 수집 그룹 설정 시 'AI 응답 품질 검수' 활성화 여부에 따라 아래와 같이 계산됩니다.
AI 응답 품질 검수 ON: 패턴 기반 점수 + AI 응답 품질 점수를 종합하여 산출
AI 응답 품질 검수 OFF: 패턴 기반 점수만을 활용하여 산출
AI는 질문의 의도와 응답 내용을 함께 분석해 질문과 명백히 관련 없는 답변, 의미 없는 단일 문자나 특수문자로 이루어진 응답, 논리적으로 해석하기 어려운 내용 등을 종합적으로 판단합니다. 문제가 되는 요소가 발견될 때마다 점수가 차감되며, 최종 점수에 따라 다음과 같이 분류됩니다.
신뢰 가능: 70점 이상
검토 권장: 60점 이상 ~ 70점 미만
불성실 의심: 60점 미만
응답 품질 점수 확인 방법
Step 1. 응답이 수집된 설문을 선택한 뒤 [응답] 탭으로 이동합니다.
Step 2. 응답 화면에서 ‘종합 품질 점수’와 ‘품질 판단 근거’ 열을 확인할 수 있습니다. 70점 미만의 응답에 대해서는 ‘품질 판단 근거’에서 구체적인 사유와 관련 문항을 확인할 수 있습니다.
💡이용 tip | 품질 검사가 진행 중인 경우, 응답 품질 점수는 ‘계산 중’, 품질 판단 근거는 ‘분석 중’으로 표시되며, 품질 검사 완료까지 평균 5분 이내 소요됩니다.
💡이용 tip | 실제 응답 내용을 자세히 확인하고 싶다면 [다운로드] 버튼을 클릭해 응답 데이터를 다운로드한 뒤 응답 내용을 함께 검토할 수 있어요.
응답 품질 점수에 대해 궁금한 점이 해결되셨나요?
데이터 정제 과정에서 특정 응답이 왜 낮은 점수를 받았는지 궁금하시거나, 클리닝 기준 설정에 도움이 필요하시다면 언제든지 화면 우측 하단의 [고객센터 아이콘]으로 문의해 주세요. 겪고 계신 어려움을 해결하실 수 있도록, 저희 팀이 끝까지 함께 도와드리겠습니다.