回答品質スコアとは?
回答品質スコアは、オープンサーベイが独自開発したアルゴリズムを通じて回答データの信頼性を評価する総合指標です。このスコアは主に2つの核心要素をもとに算定されます。
パターンベーススコア: 回答時間、一直線回答(並べ替え)などの回答パターンを分析して誠実度を測定します。
AI応答品質スコア: AIが主観式回答の内容を直接分析し、質問との関連性および回答の質を評価します。
収集グループ作成時に「AI応答品質検査」機能を有効にすると、この2つのスコアが総合的に考慮された最終的な回答品質スコアが算出されます。機能をオフにしていても、パターンベーススコアを通じて回答品質を確認することができます。
なぜ回答品質スコアが必要なのか?
1️⃣ 意味のある回答かどうかを確認する必要がある時
オンラインアンケートでは、一部の回答者が質問を十分に読まずに回答したり、意味のない内容を入力したりすることがあります。
「主観式設問に「笑」、「わからない」、「なし」などの回答が多く届いています。
これらの回答はどう判断すればよいのでしょうか? 🤔」
回答品質スコアを活用すると、AIが回答内容と質問の意図を合わせて考慮し、回答の誠実度を評価します。これにより、回答がどれだけ丁寧に記述されたかを客観的な基準で確認することができます。
2️⃣ 大規模アンケートでデータ検査時間を削減する必要がある時
回答数が増えるほど、データ検査に必要な時間も増えます。特に主観式回答が多い場合、すべての回答を直接確認するのにかなりの時間がかかります。
「回答が数千件あるので、データの検査にとても時間がかかっています。
検査プロセスをもっと効率的に進めることはできないでしょうか? 🤔」
AI応答品質検査を有効にすると、AIが先に品質を判断してくれるため、レビューが必要な回答を素早く把握でき、データ検査時間を削減して分析本来の業務により集中できます。
回答品質スコアの算定基準
回答品質スコアは、収集グループ設定時に「AI応答品質検査」を有効にするかどうかに応じて、以下のように計算されます。
AI応答品質検査 ON: パターンベーススコア+AI応答品質スコアを総合して算出
AI応答品質検査 OFF: パターンベーススコアのみを活用して算出
AIは質問の意図と回答内容を合わせて分析し、質問と明らかに関連のない回答、意味のない単一文字や特殊文字で構成された回答、論理的に解釈しにくい内容などを総合的に判断します。問題となる要素が発見されるたびにスコアが減点され、最終スコアに応じて以下のように分類されます。
信頼可能: 70点以上
レビュー推奨: 60点以上70点未満
不誠実の疑い: 60点未満
回答品質スコアの確認方法
Step 1. 回答が収集されたアンケートを選択し、[回答] タブに移動します。
Step 2. 回答画面で「総合品質スコア」と「品質判断根拠」列を確認できます。70点未満の回答については、「品質判断根拠」で具体的な理由と関連設問を確認できます。
💡 ご利用のヒント | 品質検査が進行中の場合、回答品質スコアは「計算中」、品質判断根拠は「分析中」と表示され、品質検査の完了まで平均5分以内かかります。
💡 ご利用のヒント | 実際の回答内容を詳しく確認したい場合は、[ダウンロード] ボタンをクリックして回答データをダウンロードし、回答内容を合わせて確認することができます。
回答品質スコアについてご不明な点は解消されましたでしょうか。
データ精製の過程で特定の回答がなぜ低いスコアを受けたのか疑問がある場合や、クリーニング基準の設定にお困りの際は、画面右下の [ヘルプセンターアイコン] からいつでもお問い合わせください。
お困りの点を解決できるよう、チーム一同最善を尽くします。
