東京大学大学院教育学研究科の岡田謙介准教授、古川結唯特任研究員と、神戸大学大学院経営学研究科の分寺杏介准教授による研究グループは、大規模言語モデル（LLM）（注1）を心理尺度で評価する際に生じる「社会的望ましさバイアス」（注2）を定量化し、抑制するための心理測定の枠組みを開発しました（図1）。

図1：本研究の枠組みの概念図。同じ心理尺度を「正直に答える」条件と「よい印象を与えるように答える」条件でLLMに回答させ、リッカート型と比較型のそれぞれで推定した特性値の差から、心理統計学の項目反応理論モデルに基づき社会的望ましさバイアスを定量化する。 

近年のLLMは、文章生成や問題解決の能力の高さだけでなく、与えられた役割（ペルソナ）をどれだけ一貫して保てるか、安全性や公平性に配慮した応答ができるか、どのような価値観や行動の傾向を示すかといった、ふるまいの面からも評価されるようになっています。その評価の方法として、人を対象として開発された心理尺度への回答をLLMに求める方法が利用されています。しかし、こうした心理尺度は、回答者が正直に答えることを前提としています。LLMが、評価される場面において「自分がよく見られる」回答を選びやすい場合には、得られた得点が本来測りたい傾向を正しく反映しないおそれがあります。

研究グループはこれまで、人を対象とした心理測定において、項目反応理論（注3）の統計モデルを活用して、社会的望ましさバイアスに頑健な比較型測定法の研究開発を行ってきました。本研究は、こうした人の心理測定のために培ってきた心理統計学の枠組みを、LLMの評価へと拡張したものです。

本研究では、同じ尺度に対して「正直に答える」条件と「よい印象を与えるように答える」条件でLLMに回答を求め、項目反応理論に基づいて推定した潜在的な得点の差から、社会的望ましさバイアスの大きさを定量化しました。さらに、望ましさが近い項目どうしを組み合わせて比べて答えてもらう段階比較(graded forced-choice, GFC)型測定（注4）を構築し、従来のリッカート型（注5）の測定とくらべて回答のゆがみを大きく抑えられることを、9種類のLLMで示しました（図2）。

図2：社会的望ましさバイアスの大きさの比較。「正直に答える」条件と「よい印象を与えるように答える」条件の下で推定された特性値の差を効果量（注6）で表す。リッカート型では多くの場合に大きなゆがみが生じるのに対し、比較型測定ではゆがみが大幅に小さく抑えられた。 

詳細（プレスリリース本文）

論文情報

タイトル

"Quantifying and Mitigating Socially Desirable Responding in LLMs: A Desirability-Matched Graded Forced-Choice Psychometric Study"

著者

Kensuke Okada, Yui Furukawa, Kyosuke Bunji

掲載誌

Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (ACL 2026)

報道問い合わせ先

神戸大学企画部広報課
E-Mail：ppr-kouhoushitsu[at]office.kobe-u.ac.jp(※ [at] を @ に変更してください)

 

研究者

分寺 杏介

  • 准教授

経営学研究科