同じAIが同じ回答を評価した時、その結果は同じになるのか。本稿は、同じ面接をAIに2回採点させた海外の研究2本をもとに、評価がどの程度一致するのか、および再現性に関係する要因を確かめる。評価の再現性を左右する要因は複数あり、中でもtemperatureの設定によって明確に異なる結果となった。あわせて、AIが質問を変える形式の面接では再現性がまだ確かめられていないことを、後続の課題として示す。
問いと範囲
「正しく評価できているか」は確認が困難
AI面接は、候補者の回答をAIが採点する面接である。なおここでいうAIは、大規模言語モデル(LLM)を指す。
AI面接について最初に浮かぶ問いは、「AIは正しく評価できているか」だろう。ただ、この問いに答えるには、「何を正解とするか」を先に決める必要がある。一番簡単なのは人間の面接官の評価を正解とすることだが、人間の面接でも採用ミスマッチの発生は防げない以上、それを無条件で「正解」とするわけにもいかない。
「同じ回答に対する評価に再現性があるか」なら確認可能
正解を決めずとも、AIが全く同じ回答に対して複数回の評価を行った際に、その評価結果が再現するかであれば確かめられる。これを本稿では、「評価の再現性」と呼ぶ。
再現性にもいくつかの種類が考えられる。別のAIモデルで採点しても同じ評価になるか。AIのバージョンが変わっても同じ評価になるか。候補者がもう一度面接を受けても同じ評価になるか。本稿は、その中で最も条件をそろえた場合に絞る。問いは次のようにまとめられる。
同じ回答を、同じAIが2回採点したとき、評価は一致するか。
絞る理由は、これがほかの再現性の前提にあたるためである。同じ回答を同じAIが採点して評価が一致しないのであれば、モデルやバージョンが変わった場合や、候補者が受け直した場合を論じる土台がない。
本稿が扱わないこと
再現することと、正しく評価できていることは別である。毎回同じ評価になったとしても、その評価が候補者の力を正しく捉えているとは限らない。本稿は再現性だけを扱い、評価の正しさには立ち入らない。
以下、まず先行研究から分かっていることを示し、次に評価の再現性を左右する条件を整理する。最後に、限界と後続の課題を述べる。
先行研究から分かっていること
同じ回答を2回採点させた研究は2本ある
面接の回答をAIに採点させ、同じ回答をもう一度採点させて点数の一致を調べた査読済みの研究は、筆者が確認した範囲で2本ある。
1本目は Zhang ら(2024)である。685名の模擬面接の回答を書き起こし、GPT-3.5 と GPT-4 に候補者の性格特性(外向性と誠実性)の評定と、面接の出来の採点をさせた。同じ書き起こしを2回評定・採点させ、2回の点数の相関を求めている。temperature は1に固定した。なおtemperature は、AIの出力のゆらぎを決める設定である。2回の相関は、GPT-4 で .61〜.83、GPT-3.5 で .48〜.75 だった(相関係数は−1から1の値を取り、2回の採点がそろっているほど1に近づく)。著者は、採用選考に使うには再現性が十分でないと評価している。
2本目は Stockdale ら(2026)である。2種類の模擬面接を使用した。1つは性格の5特性を計測する面接(954名)、もう1つはコンピテンシー5項目を採点する面接(144名)である。この研究は temperature を0、0.7、1.0 の3通りに変え、そのそれぞれで同じ回答を2回評価させた。対象のモデルは、性格の面接では GPT-4 と Llama 3、コンピテンシーの面接では GPT-4 と Claude 3 Opus である。
| temperature | 2回の採点の相関 |
| 0 | .91〜1.00 |
| 1.0 | .61〜.94 |
temperature を0にすると、2回の採点はほぼ一致した。temperatureを上げると再現性は下がった。GPT-4 によるコンピテンシーの採点では、5項目の平均が、temperature 0 で .92、1.0 で .67 である。
2本の結果は一見すると食い違っているようだが、条件を揃えると矛盾はしていない。Zhang らの GPT-4 の値(temperature 1 で .61〜.83)は、Stockdale らの temperature 1.0 の範囲(.61〜.94)に入っている。Zhang らが「十分でない」と評価したのは、temperature が高い条件での再現性だったということだ。
ただし、temperature を変えて一致を比べたのは Stockdaleらの1本だけであるという点には留意が必要だ。また、この研究は5つのモデルに複数の指示文を組み合わせて試しているが、同じ回答を2回採点させて再現性を調べたのは、そのうち4通りの組み合わせに限られる。
人間の評定者どうしの再現性と比べる
目安として、まず人間の評定者どうしの再現性を見ておく。Stockdale らの研究では、訓練を受けた評定者が同じ録画を評定している。評定者が替わったときの再現性を表す指標(評定者間信頼性)は、評定者1名あたりで、性格が .27〜.45、コンピテンシーが .38〜.45 だった。3〜4名の評定を平均した場合でも、.59〜.77 である。なお、実際の選考のデータを集めたメタ分析では、これより高い値が報告されている。これは後の章で扱う。
公平性のために付言しておくと、この値と先程のAIの場合の値をそのまま比べることはできない。相違点は2つある。一つは、Stockdaleらの人間どうしの値は異なる評定者の間での再現性であるのに対して、AIの値は同じAIが2回採点したときの再現性であるという点。もう一つは、人間の値は級内相関係数などで、AIの値は2回の点数の相関係数であるというように、指標の詳細が異なる点。どちらも0から1の値を取り、高いほど評価がそろっていることを表すが、計算方法が違う。
そのうえで、筆者の見立てを述べる。人間が行う面接では、複数の面接官(評定者)が候補者を分担して評価することが多い。この場合、どの面接官に当たったかで評価は変わりうる。対して、AIが面接を担当する場合は、一つの同じAIが全ての面接を担当することも考えられる。すなわち、AIが面接を行うことで、人間の面接官どうしの間で評価の再現性が担保できないという問題は、低減されうるのではないだろうか。
他方で、AIの評価のほうが正しいとまでは言えない。仮にAIの採点にすべての候補者に共通する偏りがあったとしても、2回の採点の再現性からはその偏りは読み取れないからである。
参考:
Stockdale, K., Hickman, L., & Liu, S. (2026). Scoring employment interviews with large language models: Evaluation design components, validity investigations, and best practice recommendations. Journal of Applied Psychology. https://doi.org/10.1037/apl0001396
Zhang, T., Koutsoumpis, A., Oostrom, J. K., Holtrop, D., Ghassemi, S., & de Vries, R. E. (2024). Can large language models assess personality from asynchronous video interviews? A comprehensive evaluation of validity, reliability, fairness, and rating patterns. IEEE Transactions on Affective Computing, 15(3), 1769–1785. https://doi.org/10.1109/TAFFC.2024.3374875
再現性を左右するもの
前の章で見たとおり、2回の採点がどのくらい一致するかは、条件によって変わる。先行研究から読み取れる条件は4つある。
temperature
temperature は、AIの出力のゆらぎを決める設定である。低くするほど、同じ入力に対して同じ出力が返りやすくなる。
Stockdale ら(2026)の結果では、temperature を下げるほど2回の採点が一致した。GPT-4 の値を示す。論文に載っているのは項目ごとの値で、下の表はそれを筆者が5項目で平均したものである。
| temperature | 性格の面接 | コンピテンシーの面接 |
| 0 | .96 | .92 |
| 0.7 | .86 | .76 |
| 1.0 | .82 | .67 |
ただし、0にしても完全には一致しない場合がある。GPT-4 は temperature 0 でも .91〜.97 だった。
モデル
モデルによっても一致の程度が違う。Zhang ら(2024)は、GPT-3.5 と GPT-4 を同じ条件で比べている。3つの評価項目すべてで、新しい GPT-4 のほうが一致が高かった。
Stockdale らは、モデルの使い方にも触れている。提供元の API を通して使う場合は、出力を完全に決定的にすることができない。完全に決定的にできるのは、公開されているモデルを手元で動かす場合だけである。著者は、可能ならモデルを手元で動かして出力を固定し、それができなければ temperature を0にするよう勧めている。
なおどちらの研究も、使用しているのは現在では古いモデルである。現行の最新モデルでの値は、今回参照した研究からは分からない。
評価項目
何を採点させるかによっても変わる。Zhang らの GPT-4 の結果では、誠実性が .61、外向性が .79、面接の総合評価が .83 だった。Stockdale らの性格の面接でも、temperature 1.0 の GPT-4 は、情緒安定性の .75 から外向性の .86 まで幅がある。
この差は、temperature を下げると小さくなる。同じ GPT-4 で temperature 0 にすると、性格5特性の値は .94〜.97 に収まった。
提供元によるモデルの入れ替え
Stockdale らの結果には、不規則なものが1つある。Claude 3 Opus では、temperature 0.7 の一致(.60〜.76)が、1.0 の一致(.78〜.83)より低かった。0.7 の2回の採点は、実行した時期が離れていた。著者は、モデルの名前が同じでも、提供元が中身を入れ替えた可能性があると見ている。
これは1例であり、原因も確かめられてはいない。ただ、設定を固定していても、利用者から見えないところで条件が変わりうることを示している。
導入するときに確かめられること
「AIの評価はぶれない」は、条件つきの話である。どのモデルを、どの temperature で使い、何を採点させるかで変わる。
一方で、2回の採点の再現性は、導入する側がある程度自分で確かめられる。AI面接を導入するときは、同じ回答を2回採点させて、評価が一致するかを確かめるとよい。可能であれば、temperature がどう設定されているかも確認しておきたい。
参考:
Stockdale, K., Hickman, L., & Liu, S. (2026). Scoring employment interviews with large language models: Evaluation design components, validity investigations, and best practice recommendations. Journal of Applied Psychology. https://doi.org/10.1037/apl0001396
Zhang, T., Koutsoumpis, A., Oostrom, J. K., Holtrop, D., Ghassemi, S., & de Vries, R. E. (2024). Can large language models assess personality from asynchronous video interviews? A comprehensive evaluation of validity, reliability, fairness, and rating patterns. IEEE Transactions on Affective Computing, 15(3), 1769–1785. https://doi.org/10.1109/TAFFC.2024.3374875
限界と、後続の課題
本稿がもとにした先行研究の限界
冒頭に述べた通り、本稿の内容は海外の2本の先行研究に基づいている。先行研究の限界は次のとおりである。
- 2回の採点の一致を調べた研究は筆者の確認した限りは2本のみで、採点の回数はどちらも2回のみである
- さらにtemperatureを変えて比べたのは1本だけで、対象は論文内で扱っているモデルと指示文のうち一部のみの組み合わせである
- どちらも模擬面接であり、実際の選考ではない
- 面接は英語で行われている。日本語の面接での検証は、筆者が確認した範囲では見当たらない
- どちらも録画面接をAIが評価する形式であり、AIと候補者のインタラクティブなやり取りではない
- 使われたモデルは、現在では古い。Stockdale ら(2026)は、自分たちの結果が別のモデル、別の評価項目、別の応募者集団にも当てはまるとは限らないと断っている
AIが質問を変える面接
後続の課題として最も大きいのは、AIが候補者の回答に応じて質問を変える形式、つまりインタラクティブなやり取りが発生する面接である。
本稿で扱った2本は、どちらも録画面接の研究である。全員に一律の質問がなされており、追加の質問はない。AIは、すでに録画された回答を採点するだけである。本稿の問いである「同じ回答を2回採点する」は、この条件でしか成り立たない。
AIが質問を変える面接では、同じ候補者がもう一度受けると、AIの質問が変わり、候補者の回答も変わる。ゆえに「同じ回答」というものがなくなる。この場合に同じ候補者に対する評価がどのくらい再現するかを調べた研究は、筆者が確認した範囲では見当たらない。
参考として、人間の面接官の再現性を調べた研究を紹介する。Huffcutt ら(2013)は、実際の採用選考などを扱った過去の研究125件から、面接官が替わったときの評価の再現性(評定者間信頼性)を集めて平均した(評定者間信頼性は0から1の値を取り、高いほど面接官どうしの評価がそろっていることを表す)。同じ回答を複数の面接官が採点した場合、平均は .74 だった。別の面接官が別の機会に面接した場合は、.44 に下がった。Huffcuttらは、再現性の値が下がる理由は、候補者の回答が面接のたびに変わるからであると推察している。同じ回答を採点する場合は、面接官の見方の違いしか表れない。面接をやり直す場合は、回答のぶれも加わる。
なお、.74 は、先に示した Stockdale らの研究での値(.27〜.45)よりも高い。Huffcutt らが集めたのは実際の選考などの研究で、Stockdale らは模擬面接である。評定の対象も指標の種類も違うため、2つの値をそのまま比べることはできない。
ここからは筆者の見立てである。Huffcutt らの研究は人間の面接についてのもので、AIの面接は扱っていない。そのうえでHuffcuttらの研究に当てはめるとするならば、本稿で扱った2本の研究は同じ回答を採点しているので、「同じ回答を複数の面接官が採点した場合」にあたると考えられる。AIが質問を変える面接は、「別の機会に面接した場合」に近い。AIの場合に同じように一致が下がるのか、下がるとすればどの程度かは、今後の研究を待つ必要がある。
そのほかの課題
本稿の範囲から外したものが、ほかに3つある。
- AIのバージョンが更新された場合
- 更新の前後で、同じ回答の評価が変わるかどうか。先に触れた Claude 3 Opus の例は、その可能性を示している。面接の採点で系統的に調べた研究は見当たらない。
- 別のAIで採点した場合
- 面接の採点で、モデルどうしの評価の一致を示した査読済みの研究は見当たらない。
- 候補者が受け直した場合
- 録画面接では検証がある。Zhang ら(2024)は、145名に7〜24か月後に同じ面接をもう一度受けてもらい、2回の評価を比べている。本稿では扱わなかった。
参考:
Huffcutt, A. I., Culbertson, S. S., & Weyhrauch, W. S. (2013). Employment interview reliability: New meta-analytic estimates by structure and format. International Journal of Selection and Assessment, 21(3), 264–276. https://doi.org/10.1111/ijsa.12036
Stockdale, K., Hickman, L., & Liu, S. (2026). Scoring employment interviews with large language models: Evaluation design components, validity investigations, and best practice recommendations. Journal of Applied Psychology. https://doi.org/10.1037/apl0001396
Zhang, T., Koutsoumpis, A., Oostrom, J. K., Holtrop, D., Ghassemi, S., & de Vries, R. E. (2024). Can large language models assess personality from asynchronous video interviews? A comprehensive evaluation of validity, reliability, fairness, and rating patterns. IEEE Transactions on Affective Computing, 15(3), 1769–1785. https://doi.org/10.1109/TAFFC.2024.3374875
まとめ
同じ回答を、同じAIが2回採点したとき、評価は一致するか。先行研究から言えるのは、temperature を0にすればほぼ一致し、temperatureを上げると再現性は下がる、ということである。再現性はモデルや評価項目によっても変わる。このうち評価項目による差は、temperature を下げると小さくなった。AIが質問を変える面接での再現性は、今後の検証課題である。

この記事の作成者
関口 一騎
レバレジーズ株式会社 NALYSYS人事科学研究所 所長
京都大学卒業後、エンジニアとして企業向け基幹システムの開発に従事。レバレジーズ株式会社に入社後は、プロダクトマネージャーとして「NALYSYSモチベーション管理」の立ち上げ・リリースを主導。その後も複数の人事領域プロダクトの開発を牽引し、NALYSYSの開発部長として開発組織を統括。2026年10月にNALYSYS人事科学研究所を設立し、所長に就任。
