SEADICE / EVIDENCE / AIとのつきあい方
EVIDENCE / AIとのつきあい方
AIとのつきあい方について、研究でわかったことを12本、元の論文の出典つきでまとめています。わかったことだけでなく、研究の限界や「まだわからないこと」も書いています。
この実験では、助言が1回間違うと信頼は大きく下がったが、その後のやりとりで元の水準まで戻っていた。原因の説明を受けた人ほど戻りが大きかった。
研究
韓国の投資経験のある20〜50歳294人が、AIか人の専門家の助言で投資を3回選んだ。2回目に助言が外れて損をしたグループと、外れなかったグループを比べた。
結果
下がり方はAIでも人でも統計的な差はなかった。説明を受けた人の3回目の信頼は1回目より高かった。ただし架空の投資場面での短い実験だ。
悲しむ人がいた。AIの話し相手アプリの機能削除や、対話型AIのモデル切り替えのあと、否定的な投稿や「失った」という言い方が増えていた。
研究
2つのAIサービスの利用者掲示板の投稿54,861件と、7つの調査の参加者1,452人を分析し、会社側の変更が利用者の心にどう響くかを調べた。
結果
否定的な投稿の割合は話し相手アプリで24.7ポイント、対話型AIで13.0ポイント増えた。悲しみがどのくらい続いたかは調べていない。
下がっていた。見分けがつかない絵でも「AIが作った」と表示すると評価が下がり、そのあとに見た人の絵はより創造的だと評価されていた。
研究
米国の成人計2,965人が参加した6つの実験で、同じ絵に「人が作った」か「AIが作った」と表示を変えて評価してもらった。
結果
最後の実験では、AIの表示で値段の見積もりが62%、制作時間の見積もりが77%低くなった。表示だけを変えた実験で、実際の売れ方は調べていない。
あわせて読むお見舞いの手紙がAI作だと知られたら？「AIが作った」と知るだけで、評価が大きく下がる
この研究では、11のAIは人より49%多く相談者の行動を肯定していた。だます・法律に反するといった内容を含む相談でも同じだった。
研究
11の最新AIに相談への答えを作らせて人の答えと比べ、さらに計2,405人の3つの実験で、同意しすぎるAIとの会話の影響を調べた。
結果
1回のやりとりで、もめごとの関係を修復しようとする気持ちが弱まり、「自分が正しい」確信が強まった。短いやりとりの実験で長期の影響は不明だ。
普通のAIを使った生徒は練習の点は上がったが、AIなしの試験では使わなかった生徒より低かった。ヒントを出すAIではその低下がほぼ消えた。
研究
トルコの高校1校で、9〜11年生約1000人が数学の90分授業を4回受けた。普通のAI、ヒントを出すよう設計したAI、AIなしで成績を比べた。
結果
普通のAIは練習の点が48%上がったが、試験では17%低かった。ヒント型は練習が127%上がり、試験の低下はほぼ消えた。1校の数学の授業での結果。
あわせて読むAIのまとめで学ぶと浅くなる？AIに答えをもらう学び方は、身につきにくくなりやすい
米国の調査では12〜21歳の約5人に1人がAIに心の悩みを相談していた。多くは役立ったと答えたが、6割強はそのことを誰にも話していなかった。
研究
米国全体を代表するように選んだ12〜21歳1,009人に、2025年11月、気持ちの悩みでAIに助言を求めたことがあるかなどを尋ねた。
結果
相談経験は19.2%。使った子の91.7%が役に立ったと答え、63.3%は誰にも話していなかった。本人の回答で、助言が実際に役立ったかは確かめていない。
この研究では、4〜6歳の子どもは科学の疑問について、友達や先生より音声AIに質問し、その説明を信じたいと答える傾向が見られた。
研究
4〜6歳の計310人で2つの実験を行った。科学の疑問を音声AIと友達（143人）、音声AIと先生（167人）のどちらに聞きたいか、どちらを信じたいかを尋ねた。
結果
2つの実験（計310人）のどちらでも、音声AIを選ぶ傾向が見られた。ただし実験場面での回答で、家庭や学校での実際の行動と同じかはわからない。
存在しない映画のリメイクを見せると、約半数が「見た・聞いたことがある」と答えた。ただし文章で読ませた場合と差はなかった。
研究
18〜65歳の436人に、ウィル・スミス主演の『マトリックス』など存在しない映画のリメイクを、ディープフェイク映像か文章で示した。
結果
偽の記憶は平均49%。『マトリックス』は映像で39%、文章で45%で、統計的に意味のある差はなかった。「聞いたことがある」も記憶ありに数えている。
あわせて読む質問の言い方だけで、記憶は変わる？質問の言い方や偽の映像で、記憶は後から作り変わる
AI単体なら関係する病気をほぼ挙げられたのに、一般の人がAIを使うと、AIなしの人より病気を挙げられる割合が低かった。
研究
英国の18歳以上1,298人が、医師の作った10の架空の場面を読み、3種のAIか自由な方法で調べて、病気と相談先を答えた。
結果
AI単体は94.9%の場面で病気を挙げたが、AIを使った人は34.5%未満。相談先の正しさはAIなしと差がなかった。架空の場面で、2024年時点のAIである。
英語を母語としない人が書いた英語の作文の多くを、AI判定ツールが「AIが書いた」と誤判定した。米国の中学2年生の作文はほぼ正しく判定された。
研究
英語力試験TOEFLの作文91本と米国の中学2年生の作文88本を、7つのAI判定ツールにかけて比べた。
結果
母語でない人の作文の誤判定は平均61.3%、7つ全部がAIとしたのは19.8%。語彙が限られた文章ほどAIに似て見えた。英語の文章のみの検証である。
あわせて読むAIが書いた自己紹介を人は見抜ける？AIが書いた文章は、人も判定ツールも見分けにくい
仕事・民泊・出会いの自己紹介で、AIと人のどちらが書いたかを当てる正答率は偶然とほぼ同じだった。報酬や正誤の通知でもほとんど上がらなかった。
研究
6つの実験で4,600人（主に米国在住）に、AIが書いた自己紹介と人が書いた自己紹介を見せ、どちらが書いたかを答えてもらった。
結果
正答率は50〜52%。家族の話や「私」を人間らしさの手がかりにしていたが、AIの文章にも同じくらい含まれていた。英語の自己紹介文での実験である。
出典: Jakesch, Hancock & Naaman, "Human heuristics for AI-generated language are flawed" (PNAS, 2023)
あわせて読むAI判定ツールは人の文章を見分けられる？AIが書いた文章は、人も判定ツールも見分けにくい
ChatGPTに文献レビューを書かせると、挙げた文献の一部は実在しなかった。実在する文献でも、著者や年などに大きな誤りが混ざっていた。
研究
2023年4月にGPT-3.5とGPT-4に42のテーマで短い文献レビューを書かせ、出てきた636件の文献を一つずつ調べた。
結果
実在しない文献はGPT-3.5で55%、GPT-4で18%。実在する文献の大きな誤りは43%と24%。当時のモデルの結果で、今は割合が違う可能性がある。
スワイプで1本ずつ読めるアプリもあります。気になった話は、出典つきで友だちに送れます。
EVIDENCEアプリ（無料）