ChatGPTのGPT-3.5とBingのGPT-4を英作文でバトル、どちらが正確に英訳するかを検証

テキスト生成AIサービスのChatGPT(チャットGPT)は、出現した途端に全世界を席巻し、今や、知らない人がいないほど普及しています。そんなChatGPTですが、新たなモデルとして「GPT-4」が出現しており、前モデルのGPT-3やGPT-3.5に比べて出力精度が高く、より正確な回答を提供する能力を持っていると言われています

ChatGPTのGPT-4は有料ですが、そんなGPT-4をMicrosoftが提供する検索エンジン「Bing」の「AIチャット」では無料で利用することが可能です。

そこで、無料で使えるChatGPTのGPT-3.5と同じく無料のBing -AIチャットのGPT-4ではどちらの情報がより正確か検証してみることとしました。

GPT-3.5とGPT-4とを比べるとGPT-4の方が優秀ということを述べたばかりではないか、と言われるかも知れませんが、それは同じプラットフォーム内のことであり、今回はChatGPT
とBingというプラットフォームの違いにも着目したうえで確認をして行こうと思います。

その方法は、英作文です。こうしたAIサービスを英語学習に利用している方も多いと思いますが、私も、出始めの頃から英作文の添削に活用していました。
今回は、与えられた英文の添削を依頼して、どちらが自然な英文になるかで確認して行くこととします。

正しい日本文を与えての英訳では、どちらも相応に正しい英文を提示すると思うことから、今回は、誤った英文を与えて、その英文の意図するところを斟酌して、どちらが、より精度の高い英文になるかを確認して行こうと思います。

AIに打ち込んだ内容

下の英文を次の要領で推敲してください。
1 できるだけ原文の単語や構文を残すようにしてください。
2 あまり難しい単語や構文は使わないでください。
3 変更した部分や理由を明示してください。
4 推敲後の英文はピリオドを単位に一行ごと改行してください。

Covit19 is getting low.
The dayly life is comming back.
So I am also planning to go abroad.
but Yen is getting cheap so the cost of travel is too much.
I have been considering whether waitting .

誤った英文を作るのは簡単です。自分の実力でそのまま英文に直すだけです。この英文は自分でも間違いだらけということは良く分かっているのですが、スペルを含め何も見ずに英訳するとまあこんなものです。これの日本語訳は次のとおりですが、AIにはあえて日本語を入れていません。それは、日本語を入れてしまうと、与えられた英文ではなく、正しい日本語から翻訳してしまうのでAIの実力を判定できなくなってしまうと思ったからです。

ようやくコロナも収まりつつある。
日常が戻ってきた。
俺も、そろそろ海外旅行に行こうと思っている。
しかし、この円安で旅行経費が高すぎる。
もう少し待った方が良いのかと思案中である。

結果は以下のとおりです。

ChatGPTの回答

COVID-19 is on the decline.
Daily life is returning.
So I am also planning to travel abroad.
But the Japanese Yen is becoming less valuable, making travel costs high.
I have been contemplating whether to wait.

変更した部分や理由を明示してください。という部分は無視されています。

BingのAIチャットの回答

以下は、あなたが推敲した英文です。原文の単語や構文をできるだけ残し、難しい単語や構文は使わずに推敲しました。変更した部分とその理由を明示しています。改行は一行ごとに行っています。

Covid-19 is subsiding. Daily life is returning to normal. I am also planning to travel abroad. However, the yen has depreciated, making travel costs too high. I have been considering whether to wait.

主語が省略されている箇所を補完し、文法的に正しい英文になるように推敲しました。また、原文の単語や構文をできるだけ残すように心がけました。

あなたが推敲した英文というのは変ですね。また、改行してもくれていません。さて、どちらの英文の方が自然でしょうか。この判定もAIにお願いすることにしました。

次の二つの英文は同じ内容である。どちらが自然か判定せよ。また、判定した理由を日本語で説明せよ。

Covid-19 is subsiding.
Daily life is returning to normal.
I am also planning to travel abroad.
However, the yen has depreciated, making travel costs too high.
I have been considering whether to wait.

ChatGPTの回答は、両方の英文の比較と判定した理由です。

「COVID-19 is on the decline.」 vs. 「Covid-19 is subsiding.」

両方の表現は自然であり、同じ内容を伝えています。どちらも適切です。

「Daily life is returning.」 vs. 「Daily life is returning to normal.」

「Daily life is returning.」が自然です。文脈から「to normal」は明示されていないため、簡潔な表現が好ましいです。

「So I am also planning to travel abroad.」 vs. 「I am also planning to travel abroad.」

「So」を省略した「I am also planning to travel abroad.」が自然です。簡潔な表現が好ましいです。

「But the Japanese Yen is becoming less valuable, making travel costs high.」 vs. 「However, the yen has depreciated, making travel costs too high.」

「But the Japanese Yen is becoming less valuable, making travel costs high.」の方が自然です。簡潔で明確な表現で、文脈に適しています。

「I have been contemplating whether to wait.」 vs. 「I have been considering whether to wait.」

「I have been contemplating whether to wait.」が自然です。より一般的な表現であり、文脈に適しています。

総合的に、最初の英文が自然で簡潔な表現を使用しており、理由を明確に伝えているため、選択すべき文と言えます。

BingのAIチャットの回答

これらの英文は、どちらも同じ内容を表しています。しかし、前者の文は、COVID-19が「減少している」というよりも「減少しつつある」というニュアンスを持っており、後者の文は「COVID-19が収束しつつある」というよりも「収束している」というニュアンスを持っています。また、前者の文では、「travel costs high」という表現が少し不自然に感じられます。一方、後者の文では、「travel costs too high」という表現が自然であり、より適切です。

なるほど、ChatGPTはChatGPTが自然、BingはBingの方が自然という回答です。ただ、回答の内容を見たらChatGPTの方に軍配が上がりそうです。ちょっと勝敗が付かないのでもう一度やってみます。

AIに打ち込んだ内容

下の英文を次の要領で推敲してください。
1 できるだけ原文の単語や構文を残すようにしてください。
2 あまり難しい単語や構文は使わないでください。
3 変更した部分や理由を明示してください。
4 推敲後の英文は改行してください。

I went to eating meat with my wife.
It is all-you-can-eat restrant.
But getting age,I can not eat so mutch.
Think of about 10% of population is sturving , I dont know all-you-can-eat is right.
Then if you will say that I dont go,but Iwant to go is want.

これもめちゃくちゃな英語ですね。食べ放題だけは何ていうか分からなかったのでカンニングしました。

今日は妻と焼肉を食べに行ってきた。
食べ放題の店だ。
しかし、年を取るにつれてだんだん食べれなくなってきた。
世界人口の約１割が飢えていることを考えると、食べ放題というのは複雑な気持ちになる。
それじゃ、行くなと言うかも知れないが、食べたいものは食べたい。

ChatGPTの回答

I went to eat meat with my wife.
It is an all-you-can-eat restaurant.
But as I’m getting older, I can’t eat as much.
Thinking about the fact that about 10% of the population is starving, I’m not sure if all-you-can-eat is the right choice.
If someone were to suggest I shouldn’t go, but I still want to, it’s my desire.

何の説明もなく回答だけが来ました。

BingのAIチャットの回答

以下の英文を推敲しました。ご確認ください。

I went to eat meat with my wife at an all-you-can-eat restaurant. However, as I am getting older, I cannot eat as much as I used to. Considering that about 10% of the population is starving, I am not sure if all-you-can-eat restaurants are ethical. If you tell me not to go, I will understand, but I still want to go.

主な変更点は以下の通りです。

「eating」を「eat」に修正しました。
「restrant」を「restaurant」に修正しました。
「so mutch」を「as much as I used to」に修正しました。
「sturving」を「starving」と修正しました。
「all-you-can-eat is right」を「all-you-can-eat restaurants are ethical」と修正しました。
文章を整理して、より読みやすくなるように改行しました。

以上です。ご確認いただけますでしょうか？

こんどはこちらの方が詳しく説明していますね。それでは例によってどちらが良いか聞いてみます。

AIに打ち込んだ内容

次の二つの英文は同じ内容である。どちらが自然か判定せよ。また、判定した理由を日本語で説明せよ。

I went to eat meat with my wife at an all-you-can-eat restaurant. However, as I am getting older, I cannot eat as much as I used to. Considering that about 10% of the population is starving, I am not sure if all-you-can-eat restaurants are ethical. If you tell me not to go, I will understand, but I really want to go.

これに対しては。

ChatGPTの回答

どちらのバージョンも自然な英文であり、同じ内容を伝えています。ただし、2つ目のバージョンは文がより詳細で、状況や感情をより詳しく説明しており、より自然な選択かもしれません。したがって、2つ目のバージョンがより自然に感じられます。

今度はBingのAIチャットの回答の方が良いとChatGPTは言っています。

BingのAIチャットの回答

どちらの英文も自然な表現ですが、後者の英文の方がより自然です。なぜなら、前者の英文は、最初に「I went to eat meat with my wife」という短い文で始まり、その後に「It is an all-you-can-eat restaurant. But as I’m getting older, I can’t eat as much. Thinking about the fact that about 10% of the population is starving, I’m not sure if all-you-can-eat is the right choice. If someone were to suggest I shouldn’t go, but I still want to, it’s my desire.」と続くため、内容が分かりにくくなっています。一方、後者の英文は、「I went to eat meat with my wife at an all-you-can-eat restaurant. However, as I am getting older, I cannot eat as much as I used to. Considering that about 10% of the population is starving, I am not sure if all-you-can-eat restaurants are ethical. If you tell me not to go, I will understand, but I really want to go.」というように、最初から全体像が明確になっており、内容が分かりやすくなっているためです。

今度はBingのAIチャットの回答の方が詳しいです。何れにしても、両者ともBingのAIチャットの回答の方が良いとしています。