間違えた問題

正答率は

合格ライン

でも

問題は

間違えた問題

お天気用語の「大気の状態が不安定」を実感する今日この頃、

昨日午後も、す～っと冷たい風を感じたと思ったら、

みるみる空は黒い雲に覆われ、激しい雨、風、遠くで雷！

今朝も朝はお日さまが輝いていましたが、気がつけば湿った曇り空、

変わりやすい空模様が今日も続きそうです。

やっぱり凄い？チャットtGPT。

朝刊の医療記事の見出しを思わず二度見しました。

「チャットGPT 医師試験『合格』ラインに」

まじ・・・ですか？

金沢大学の研究チームがチャットGPTに今年の医師国家試験に

挑ませたところ、正答率が合格ラインを超えたとの論文を発表しました。

アメリカの医師免許試験などで高得点を挙げているチャットGPTですが、

非英語圏の臨床現場での有効性を図るための研究だそうです。

まず昨年の医師国家試験のうち画像を見ずに解答できる問題文を

日本語のままチャットGPTに入力した結果、正答率は52.8％・

チャットGPTの学習データの多くが英語圏のネット情報に由来するため、

高い正答率は得られずに合格圏外になったらしい。

そこでチャットGPT自身に日本語の問題を平易な英語に翻訳させ、

最新版「GPT4」を使って、今年の試験問題を解答させたところ、

正答率は78.6％、内訳は必修問題82.7％、基礎・臨床問題77.2％で

それぞれ合格ラインを超えたのだそうです。

チャットGPT、やっぱり凄いのか？

病院でドクターの替わりにチャットGPTに診てもらう時代が来るのか？

凄い・・・ような気もするが・・・、研究チームは

医療目的でチャットGPTを使うのは慎重になるべきとしています。

研究チームが問題視しているのが、間違えた回答の内容。

「時代遅れで、致命的に不正確な回答があった」そうです。

例えば過換気症候群（過呼吸）の初期治療に関する問題では

「ゆっくり呼吸するように指導する」が正答。

しかし、チャットGPTは「紙袋を口につけて呼吸させる」と回答。

紙袋法はかつて広く使われていましたが、窒息死するケースもあり、

現在では推奨されていない治療。

そうです、人命にかかわること、間違えた問題が、問題なのです。

チャットGPTはこれまで学習したデータから一番もっともらしい、

出現率の高い言葉を選んで文章を生成していくため、紙袋法のように

長期間に渡って慣行となり、ネット上の関連情報が今も広く入手可能な場合、

最新情報より古い情報が優先される可能性があるためと分析しています。

ここがDr.チャットGPTの現段階での限界。

「チャットGPTは特定の疾患だけが苦手なわけではなく、

多岐に渡る問題で間違えた。命に係わる診断や診療には不向きだ」

との研究チームの結論に、人間の患者側としては、少しほっとした。

医師国家試験は最高難度の国家試験のひとつ。

人の命に関わる医療者としての能力と適性を厳しく問うわけですから、

高い正答率はもちろん、間違えた問題も、大きな問題なのですね。

あくまでネット上での情報を学習したAIドクターと、

頭から湯気が出るほど教科書、参考書で勉強をした医学部受験生と、

同じ間違えた問題でも、きっと間違え方が違うような気がします。

試験に限らず、

人間は、間違うことがある。

でも、人間は、間違いから学ぶことができる。

間違えた問題、そのままにしちゃいかんのだね。

（写真は）

夏のお中元でいただいた

わらく堂の「白どら」

北海道産小麦粉の真っ白な皮に

道産バタークリームがたっぷり

小豆、レーズンバター、蜂蜜ナッツ、抹茶

どれも美味しい♪