Sincerity Score(성실도 점수)란?
Sincerity Score는 수집된 설문 응답의 신뢰성을 높이기 위해, 응답 패턴을 분석하여 산출한 성실성 지표입니다. 불성실할 가능성이 있는 응답을 수치화하여 데이터 정제(Cleaning)의 객관적인 기준으로 활용할 수 있습니다.
점수 범위: 0~100점 (점수가 높을수록 성실한 응답으로 판단)
산출 방식: 응답 시간, 텍스트 품질, 답변 패턴 등 여러 항목을 종합하여 최종 점수 계산
왜 Sincerity Score가 필요할까요?
1️⃣ 불성실 응답 식별을 통한 데이터 품질 확보
의미 없는 텍스트 입력이나 동일한 패턴의 반복 응답 등, 불성실할 가능성이 있는 응답을 식별해 분석에 활용할 데이터의 신뢰도를 높일 수 있습니다.
2️⃣ 점수 기반의 데이터 정제 기준 마련
모든 응답을 일일이 확인하기 어려운 경우에도 점수를 기준으로 정제 대상을 판단할 수 있어, 데이터 클리닝의 기준을 보다 명확하게 설정할 수 있습니다.
또한 Sincerity Score를 바탕으로 [원클릭 클리닝]의 기준 점수를 지정할 수 있어, 불성실 응답이나 문항에 대한 오해로 인한 오응답, 전체 경향에서 벗어나는 이상치 등을 보다 쉽게 제외하고 데이터를 정제할 수 있습니다.
3️⃣ 점수 분포 확인을 통한 분석 효율 향상
수많은 응답을 하나씩 검토하지 않아도 점수 분포를 통해 이상치나 의심되는 응답을 빠르게 파악할 수 있어, 데이터 검토와 분석 과정의 효율을 높일 수 있습니다.
성실도 점수 산정 기준
Sincerity Score는 응답의 신뢰도를 판단하기 위해 여러 응답 패턴을 종합적으로 분석하여 계산됩니다. 시스템은 아래와 같은 요소를 기준으로 응답의 성실성을 평가하고 점수 산정에 반영합니다.
응답 속도: 문항 수에 비해 전체 응답 시간이 지나치게 짧은 경우, 충분히 읽고 답변하지 않았을 가능성을 고려해 점수에 반영됩니다.
텍스트 응답 품질: 주관식 문항에 “아무거나”, “네네”, “ㄱㄱ” 등 의미 없는 문구가 입력된 경우 응답 품질이 낮은 것으로 판단될 수 있습니다.
텍스트 응답 길이: 주관식 답변의 길이가 지나치게 짧을 경우, 질문에 대한 충분한 답변이 아닐 가능성을 고려해 평가에 반영됩니다.
평점 응답 패턴: NPS나 점수형 문항에서 여러 문항에 동일한 점수만 반복적으로 선택하는 경우, 변별력이 낮은 응답 패턴으로 판단될 수 있습니다.
객관식 선택 패턴: 다중 선택형 문항에서 모든 보기 항목을 선택하는 등 무분별한 선택 패턴이 나타나는 경우 점수 산정에 영향을 줄 수 있습니다.
항목별 성실도 지표 확인 방법
Sincerity Score의 근거가 되는 세부 지표(응답 시간, 텍스트 길이 등)는 변수 불러오기 기능을 통해 확인할 수 있습니다. 아래 단계를 따라 필요한 지표를 불러와 보세요.
Step 1. 확인하려는 설문을 클릭한 후, 상단 메뉴에서 [분석 > 응답] 탭으로 이동합니다.
Step 2. ‘응답’ 화면에서는 수집된 개별 응답 리스트를 확인할 수 있습니다. 화면 우측 상단에 있는 [변수 불러오기] 버튼을 클릭해 주세요.
Step 3. ‘메타데이터’를 선택한 뒤, 리스트 하단의 [숨김 변수 노출] 체크박스를 클릭합니다. 그러면 시스템이 계산한 성실도 관련 세부 지표가 함께 표시됩니다.
Step 4. 각 항목의 의미를 참고해 확인하고 싶은 지표의 체크박스를 선택한 후, 하단의 [선택] 버튼을 클릭하면 응답 리스트에 해당 지표가 추가됩니다.
sincerity_score: 최종 산출된 응답 성실도 점수 (0~100)
resp_elapsed: 전체 응답 소요 시간
resp_avg: 문항별 평균 응답 시간
eval_var: 평점 응답의 분산 (점수 차이가 거의 없는 응답 판별)
text_len_avg: 주관식 응답의 평균 길이
text_insincerity_cnt: 불성실 판정을 받은 텍스트 응답 개수
Step 5. 응답 리스트에 추가된 열을 통해 각 응답의 성실도 관련 세부 지표를 확인할 수 있습니다. 이 정보를 참고하면 특정 기준에 미달하는 응답을 선별하거나, 데이터 클리닝이 필요한 대상을 판단하는 데 활용할 수 있습니다.
💡 이용 tip | 기업이나 조사 목적에 따라 ‘성실한 응답’의 기준은 달라질 수 있습니다. 처음에는 점수만 기준으로 판단하기보다는 텍스트 응답 내용과 응답 속도를 함께 살펴보는 것이 좋습니다. 이를 바탕으로 프로젝트의 특성에 맞는 적절한 기준 점수를 설정해 보세요.
Sincerity Score(성실도 점수)에 대해 궁금한 점이 해결되셨나요?
데이터 정제 과정에서 특정 응답이 왜 낮은 점수를 받았는지 궁금하시거나, 클리닝 기준 설정에 도움이 필요하시다면 언제든지 화면 우측 하단의 [고객센터 아이콘]으로 문의해 주세요.
겪고 계신 어려움을 해결하실 수 있도록, 저희 팀이 끝까지 함께 도와드리겠습니다.