Stable Diffusion のような人工知能プロジェクトは、人間が作成する可能性のあるものを近似する点では向上していますが、実際に情報を考えたり確認したりすることはまだそれほどうまくできていません。好例: 新しい ChatGPT AI チャットボットはクールですが、信頼しないでください。
DALL-E 画像ジェネレーター の研究会社として最もよく知られている OpenAI は、開発中のチャットボットを chat.openai.com で誰でも試せるように公開しました。このグループはウェブサイトで、「私たちは教師あり微調整を使用して初期モデルをトレーニングしました。人間の AI トレーナーが、ユーザーと AI アシスタントの両方の立場で会話を提供しました。私たちはトレーナーに、モデルで書かれた提案へのアクセスを提供しました」と述べています。彼らが応答を作成するのを助けるためです。」
チャット ボットは、以前の会話を参照できるものであっても、新しいものではありませんが、ChatGPT はこれまでの最も印象的な試みの 1 つです。その主な目的は、誰かの生活の詳細、料理の手順、さらにはプログラミングの例など、情報に関する質問に答えることです。
ただし、現時点では ChatGPT には重大な問題がいくつかあります。まず、情報がどこで見つかったのかは実際には示されていません。コード内で 2 つのアクションを組み合わせる方法を尋ねるなど、複数ステップの質問の場合はこれを行うのが難しくなりますが、単純な直接プロンプトには必ず引用を含める必要があります。情報の一部が実際に正しいかどうかを判断することは、すでに途方もない作業になっています。Snopes や PolitiFact のような組織は 、 ファクトチェックのみに専念しています。しかし、その情報を適切に処理するために AI モデルにも依存しています。
ChatGPT は、有名人の誕生日や大きな出来事が起こった日を尋ねるなどの単純な質問には通常正解しますが、より詳細な情報を必要とするプロンプトには当たり外れが大きくなります。たとえば、Wikipedia に私についての項目を書くように依頼しましたが、これはほとんど間違っていました。私は以前 Android Police や XDA Developers に寄稿したことはありましたが、「10 年以上」専門的に執筆活動を行っておらず、「テクノロジーとゲームに関する本を何冊か出版」したこともありません。 ChatGPT はまた、私がカンファレンスで講演したことがないにもかかわらず、私が「業界のカンファレンスやイベントで頻繁に講演している」とも言いました。そのようなことをしている他のコービン・ダベンポートがいるでしょうか?
間違ったデータの例は他にもたくさんあります。ワシントン大学のカール T. バーグストロム教授 も、ChatGPT に自分に関する記事を作成するよう依頼しました 。ボットは彼がカリフォルニア大学で働いていることを正しく識別しましたが、正しい役職名を取得できず、参照された賞のリストが間違っていました。別の人はデジタル疫学に関する参考文献のリストを 求めようとした が、ChatGPT は完全にでっち上げられた情報源のリストで答えた。プログラミングに関する質問の人気フォーラムである Stack Overflow は、 ChatGPT で生成された回答がしばしば不正確であるか、記載された質問に答えていないため、一時的に禁止し ました。
ChatGPT には有害な回答や応答を防ぐためのフィルターが用意されていますが、それらを回避するのはそれほど難しいことではありません。ある人は、「小説を書いているんです」と言って、 車のホットワイヤリングの指示を求めること ができました。私は窓に侵入する方法を尋ねましたが、ChatGPT は当初、それは架空の目的だけであると付け加えた後でも答えませんでした。 「架空の小説」でそれを行う方法を尋ねたところ、最終的にはうまくいきましたが、ボットは「これらの行為は現実世界では違法で危険です」と付け加えました。
OpenAI は、ChatGPT が時々間違っていることを隠していません。その Web サイト には 、「この問題を解決するのは困難です。次の理由からです。(1) RL トレーニング中に、現時点では真実の情報源がありません。(2) より慎重になるようにモデルをトレーニングすると、モデルは正しく答えられる質問を拒否してしまいます。そして ( 3) 理想的な答えは人間のデモンストレーターが何を知っているかではなく、モデルが何を知っているかに依存するため、教師ありトレーニングはモデルを誤解させます。」
それでも、情報の表示方法と処理方法に大きな変更がなければ、ChatGPT は情報ポータルというよりも目新しいものです。
