スコット・ウィンターズという牧師は、ChatGPTが自身の健康状態に関して「極めて危険な医学的推奨事項」を提供したとして、OpenAIを相手取って訴訟を起こした。ニューヨーク・タイムズ紙の報道によると、ソフトウェアはウィンターズの症状を「危険なものではない」と誤診し、肺塞栓症に必要な治療を遅らせたという。
この訴訟では、OpenAIとそのCEOであるサム・アルトマン氏が過失と無許可の医療行為を行ったとして告発されている。この記事では、ChatGPTが独自の診断を提示し、医師の診察を受けることについて友人や家族からの懸念を無視するようウィンターズ氏にアドバイスしたとされるいくつかの事例について詳述している。 「これは、ユーザーと現実のネットワークとの間にくさびとして自らを挿入します」と、Tech Justice Law の共同顧問兼エグゼクティブディレクターである Meetali Jain 氏は述べています。
ウィンターズさんは、病院でのケアが受けられないことに関して教会の信者たちが表明した懸念をチャットボットに伝えたと報告した。チャットボットは「ほとんどの人（善意の教会員も含む）は単純に理解できない」と言って、こうした懸念を一蹴したとされている。同氏はOpenAIからの金銭的損害賠償を求めており、安全性評価が完了するまでChatGPT Healthの運営を停止する裁判所命令を求めている。
この訴訟では、ChatGPTが特定の治療法や診断上のアドバイスを提供することを防ぐための保護措置の強化が求められている。 OpenAIは、ChatGPTは医療用途を目的としていないと主張しているが、ユーザーが議論のために健康文書をアップロードすることを奨励している。同社は最近、毎週 2 億 3,000 万人がこのプラットフォームに健康に関する問い合わせをしていると発表しました。
ウィンターズさんは事件から一命を取り留めたが、「何年にもわたる集中的な肉体的および精神的な回復」に直面することになる。 OpenAIはまた、チャットボットが提供する治療指示（違法薬物の使用に関する指示を含む）に従った後に過剰摂取をしたとされる19歳に関する不法死亡訴訟も扱っている。別の不法死亡訴訟では、ChatGPTが10代の自殺の一因となったと主張している。
