ChatGPTは学術文章作成に使えるか

オーストラリア国立大学（ANU）のインガー・ミューバーン教授のコラム「研究室の荒波にもまれて（THE THESIS WHISPERER）」。今回はあっという間に日常に入り込んだAIチャットボット「ChatGPT」についてです。文章の要約や生成もできるChatGPTのアカデミックな文章作成の実力やいかに。ミューバーン教授はかなりお気に召しているようです。

今回は、ChatGPTについて書きたいと思います。私の妹（@anitranot）は面白おかしく「ChattieG（チャッティーG）」と呼んでいるので、私もこのコラムではChattieＧとしておきます。

学術界のChattieGへの反応は、学生がズルをするのに使ってモラル・パニックになるという危機感と、どうせロクな文章は書けないだろうという皮肉な過小評価との間で揺れ動いているようです。学術界での『ハンガー・ゲーム』、過酷な生き残りをかけた闘いの中でChattieGについて語る人はほとんどいないようですが、ChattieGは新しい武器となり得るものです。

正直なところ、このテクノロジーに対する学術界の反応に少々困惑しています。どうせ大したものではないとか（これは大きな間違いで、実際ChatGPTは大したものです）、書くことの「喜び」を奪ってしまう（個人的には、アカデミックな文章を書くことにそれほど喜びを感じていませんが、この点は人それぞれでしょう）と主張して、このツールを利用しない人もいます。使っている研究者も、ブログはもう時代遅れとされた昨今、ChattieGを使っていることを公に書き記す場所もないのでしょう。

私は、生成AIツールがアカデミック・ライティングのワークフローにどう取り込めるかについて、もっと一般的な議論が必要だと思っています。マンチェスター教育研究所のデジタル社会学者であるマーク・キャリガンが本を執筆していますが、それを待たずに私の意見を書いておきます。自分自分がChattieGのエキスパート・ユーザーだとは思っていませんが、今年に入ってから教室で使い方のコツを教えています。この授業は好意的に受け止められているようで、私のアイデアのいくつかを記録しておくように勧められました。そこでこのブログでは、私のお気に入りのChatGPTのプロンプトを紹介します。

倫理の話を抜きにして、ChatGPTについて語ることはできません。最初にはっきり言っておきたいのは、これから述べることの一部は、ANU公認のChatGPTの使い方ではないということです。大学のお偉いさん方は、来年発表する予定の関連原則の作成を進めています。私の理解では、この原則は職員と学生の両方に適用されます。現時点でのANU経営陣からの公式なアドバイスは、博士課程の学生は人間の校正者（エディター）に作業を依頼するのと同じことであればChattieGの機能を使うことができるというものです。

このアドバイスはすぐに変更されるかもしれませんが、それまでの間であってもかなり明確な方針であることは間違いありません。人間の校正者が論文に対してできること、できないことには具体的な制約があり、それは「Australian Standards for Editorial Practice（仮訳：オーストラリア校正実務基準）」に定められています。私が作成したプロンプトのうち、どのプロンプトがこのガイドラインに準拠しているかをお伝えします。それぞれの大学にガイダンスがあるでしょうから、不明な点は所属する大学・機関に確認してください。学術ジャーナルが独自のガイドラインを発表し始めていることもお忘れなく。

最初に、ChattieGやその他の広く利用されている言語モデルがどのような機能を備えているかを見ておきましょう。

ChatGPTは、与えられるタスクに関する情報が多ければ多いほど、より良い結果を生成することができます。AIとその応用の第一人者であるイーサン・モリック教授は彼のブログ「One Useful Thing」の中でChatGPTとの協業について次のように語っています。

「AIの知識は巨大なクラウドだとイメージすればいいのです。そのクラウドの一角では、AIはシェイクスピアのソネット（詩集）について回答し、別の一角では住宅ローンのブローカーとして回答し、また別の一角では、高校の教科書に載っている数式について回答しています。デフォルト（初期設定）では、AIはクラウドの中心から一般的な質問者にとって適当とされる可能性の高い答えを返します。文脈（追加の情報）を入力すると、AIはその知識を取り入れてより関心に近い答えを探し出すことができるので、その結果、あなたの質問に対して一層適したとみられる、より特化した答えを出力することができるのです。」（原文はこちら）

ChatGPTのアカウントを作成する際には、ツールにどのような役割を与えたいか、どのように出力させたいかを尋ねられます。ChatGPTにあなたの研究アシスタントのような役割を担うように指示しておけば、クラウドの学術関連情報からデフォルトのテキストが生成されるようになります。
以下に、有用だと思う幾つかのプロンプトを紹介します。

“Summarize these notes.”

（要約を作成してください。）

短い要約を作成することは、コーネル式ノート術のにも含まれている作業で、よりすっきりした、検索しやすいノートを作るための便利なテクニック、いわゆるZettelkasten（ツェッテルカステン）（インデックスカードを使って情報管理を行うメモ術）の一環です。ChatGPTで作成したテキスト要約は、文書管理ソフト（私はZoteroを使っています）やObsidianのようなノートテイキング・ツールに保存することができます。Excelのスプレッドシートに入力することもできます（が、あまりお勧めはしません）。要約を作成しておくと、ノートを検索してアイデアや発見したことの類似点を見つけるのに役立ちます。私がZoteroからノートを整理した例を参考にしてください。AIツールを使って抜き出したテキストをメモしておき、そのテキストを索引付けの目的で使用しても語句を直接インポートしない限り、ANUの博士課程の学生にとっても許容される使用に該当します。

“Clean up this audio transcript, fix mistakes, and make it shorter.”

（この音声記録を整理して、間違いを修正した上で、短くしてください。）

(このプロンプトを教えてくれたジョン・ミルン、ありがとう！）：録音した音声を自動でテープ起こしをするツールはたくさんあります（私はDescriptを使っていますが、Microsoft Teamsでもできるようになりました）。メモを作る（書く）代わりに口に出したり、共同作業者とのディスカッションを録音したりするのが好きなら、音声をテキスト化できるのはとても便利です。このプロンプトの有能ぶりは、ジェイソン・ダウンズと一緒にやっているポッドキャスト「を参照してください。

書き起こしツールの問題点は、アメリカ英語のアクセント向けに作られていることと、多少の不具合があることです。話し言葉は書き言葉よりも言葉数が多くなるので、ChattieG にテープ起こしを短くしてもらうと編集作業の効率が上がります。

この使い方であれば、ChatGPT は主にテキスト処理をしているのであって、修正や校正をしているわけではないので、許容されると思いますが、人間の校正者に同じ作業（音声の書き起こしと要約作成）を依頼することはできないので、包括的にChatGPTの利用の可否を判断することがいかに難しいかの一例と言えるでしょう。定性的なインタビューの書き起こしにこのツールを使うこともできますが、書き起こしするテキストがツールに「取り込まれない」ようにプライバシー設定を確認しておいてください。最近、ChatGPTのプロンプトウィンドウでオリジナルのトレーニングテキストを引き出すことができるハッキングが報告されているので注意が必要です。

“Re-write this text, but in plain language at a ninth-grade level.”（この文章を、中学3年生レベルの平易な言葉に書き変えてください。）

研究者は自分の研究を発表する機会が多々ありますが、その際に学術的な文章を読み上げてしまうと、ぎこちないだけでなく、言葉が多く、冗長に聞こえてしまいます。そうなってしまうのには、言語学的な左分岐・右分岐構造や名詞化といった技術的な理由が複数あげられますが、ここでは言語については触れないでおきます。とにかく、このプロンプトを使えば、密度の濃い学術的な文章から、会議での説明用の台本やプレゼンテーションを作成することができるのです。このプロンプトは、上と同様、テキストを校正したり生成したりするのではなく、別の目的のためにテキストを書き変えるために使うものなので、学術関係者や博士課程の学生にも許容される使用法だと思います。

“Criticize this text from the point of view of someone who doesn’t believe (insert your key argument).”

(この文章に懐疑的な人の視点から批判してください＜重要な論旨を挿入＞。)

優れたアカデミック・ライティングで重要なコツのひとつは、読者の反論や質問を予想しておくことです。文章の中でこうした想像上の疑問や反論を提起し、それに対する回答を書き込むようにすれば、説得力のある文章になります。不慣れな執筆者は、読者を想定して書くことを忘れたり、読者への配慮を怠ったりしがちであり、そのために説得力のない文章になってしまうことが多いのです（この点については、より良いパラグラフの書き方に関するスライド「How to write a powerful paragraph 」をご覧ください）。正直なところ、このことだけでも1つの記事が書けるほどですが、『The Craft of Research』に書かれている模式図をここに張り付けておきますので、参考にしてください。

基本的には、このプロンプトはChatGPTに指導教官のような役割を課していると言えます。あなたがより説得力のある議論を展開できるように、あなたの研究課題に疑問を投げかけるのです。私はChatGPTが作成した文章を直接使用したことはありませんが、このプロンプトは私のアイデアをテストするための創造的なツールとして活用できます。論文についての疑問を投げかけるというこの作業を、人間の校正者に依頼することはできませんので、このChatGPTの使用法は、技術的には博士課程の学生による適切なChatGPTの使用に関する現時点でのANUのガイドラインから逸脱していることになります。

とはいえ、自分の論文を読んで批評してくれる同僚がいつもいるわけではない研究者にとって、このプロンプトは非常に役立つものだと思います。読者の反応を予測するために必要な想像力は、認識の柔軟性と他の文献の知識を必要とする学問的に高度な能力です。AIの能力に頼りすぎるのは得策ではありませんが、使わなきゃ損という考え方もできます。その一方で、気持ちがくじけていたり、孤立していたり、または単に雑多な作業にどっぷりはまり込んで視野が狭くなってしまっているようなときには、想像力を働かせるのが難しいこともあるので、うまく使いこなせばいいのではないでしょうか。

“Can you peer-review this text for me, look for logical argumentation problems?”

（この文章を査読し、論理的な論証の問題点を探し出してもらえますか？）

前述のプロンプトと同様、このプロンプトはChatGPTに指導教官や指導者（メンター）の役割を課すものなので、ANUの博士課程の学生は利用できません。しかし、私にとっては純金に相当するほど貴重なものです。ChatGPTは、論理的な間違いを見つけ出すのが驚くほどうまいのです。デスクリジェクト（査読に回る前の編集者の判断によるリジェクト）されるよりも、論文投稿に先立ってAIに問題点を指摘してもらいたいと思うでしょう。

“Now pretend you are an academic in (insert discipline) – ask me six difficult questions about this text” / “You are a person who doesn’t believe (your key proposition), now ask me five difficult questions”

（あなたは（分野名）の研究者です。その立場から、この文章に対して6つの難しい質問をしてください。／重要な研究課題の主張に反対の立場から、この文章に対して5つの難しい質問をしてください。

学生が学会で発表する際に非常に難しい質問が投げかけることで有名な分野もあります（そう、経済学です）。さらに悪いことに、口述試験や口頭試問でのひねくれた質問は、あなたの話を脱線させる可能性があります。質問に備える最良の方法のひとつは、賢い友人や同僚とパネルディスカッションを行い、質問攻めにしてもらって、準備をしておくことです。残念ながら、パネルディスカッションは必要なときにいつでもすぐにできるとは限らないので、そうした際にはChatGPTが辛辣な読者・聴衆の代わりになってくれます。

バーミンガムで開催されたSRHE（Society for Research into Higher Education）の会議用スクリプトをテストするために使用したプロンプトのやり取りを見てください。完璧ではありませんが、正直なところ、かなりいいものができています。冒頭のANUからのアドバイスでは、学生がこの使い方をするのは許容範囲内なのでしょうか？というのも、このプロンプトはChatGPTに指導教官のような役割を求めているのであって、論文の校正者ではないからです。ここで作成されたテキストは発表本番に備えたものですが、論文を書くためのものではありません。こうした理由から判断が難しく、この技術に関する包括的なガイドラインを作ることの難しさを示す良い例だと思います。

最後に、

“proofread this text and correct errors”

（この文章を校正し、誤りを訂正してください。）

このプロンプトを忘れないでください。このブログ記事の草稿をChatGPTにかけたら、いくつか誤りが見つかりました！ このプロンプトは、ANUの使用方針のもとでも、学生は全く問題なく使えますし、自分でやるよりも早いです。

さて、私は今イギリスを旅行中なので、ここで終わりにします。もっとたくさん紹介したいプロンプトがあるので、もし皆さんが興味を持たれるのであれば別の記事で紹介したいと思います。ここで読んだことについて話したり、質問したりしたい場合には、Threads、BlueSky、Mastodonで私（@thesiswhisperer）を見つけるか、Thesiswhisperer Linkedinページにメモを残してください。

イギリス、バーミンガムから
インガーより（AIとの協業）