01

指標の信頼度

50に近い点数は両側が同程度に支持されたことを示します。文字は要約として使えても、明確な違いとは限りません。中点から遠いほど、この回答内では一方への支持が明確です。

02

回答品質の信号

同じ画面位置の選択偏り、長い連続、極端に短い所要時間、設問ごとの時間、関連設問の整合性を確認します。不正を判定するものではなく、解釈を慎重にすべきパターンを示します。

03

公開している品質判定ルール

ブラウザーから設問順シード、回答時間、変更回数を受け取り、サーバーが値の範囲を検証します。100点から以下を合算して減点し、最低は0点です。75〜100点は良好、50〜74点は要確認、50点未満は低信頼度です。注意力や誠実さを診断するものではありません。

  • 同じ画面位置が70%〜79%なら15点、80%以上なら35点を減点しフラグを付けます。
  • 同じ位置が12〜19問続くと15点、20問以上なら30点を減点しフラグを付けます。
  • 総時間が3分以上6分未満なら10点、3分未満なら25点を減点しフラグを付けます。
  • 75%以上の設問に時間データがある場合、中央値が0.8秒以上1.4秒未満なら10点、0.8秒未満なら25点を減点しフラグを付けます。
  • 8組以上の関連設問で一致率が45%以上60%未満なら10点、45%未満なら20点を減点しフラグを付けます。

04

タイプは書き換えない

品質上の懸念は表示する信頼度を下げますが、採点タイプを変更しません。証拠が混在するときに、より断定的なプロフィールを作ることはありません。

05

低信頼度の読み方

中点から遠い指標を具体例と照らし、中間の指標は状況依存の問いとして扱います。中断や急ぎ、理想像で回答した場合は、落ち着いた時に再診断すると参考になります。

REF

参考資料

  1. Careless responding detection revisited: Accuracy of direct and indirect measures
  2. A Response-Time-Based Latent Response Mixture Model for Identifying and Modeling Careless and Insufficient Effort Responding in Survey Data
  3. Identifying careless responses in survey data
無料診断を始める