Bing AI による動画分析
2023.03.29 16:00｜Bing AI｜
最近、Bing AIとチャットするのが面白くて、検索以外にも動画分析の課題を何度も出している。
Bing AIの動画分析の特徴は、現時点では以下の通り。
1）Bing AIにアクセスするたびに、対応できる能力が違う。動画分析（や画像作成）ができないこともある。会話スタイルによって違ったり、セッションごとにも違う。何度か試してところ「厳密」と「バランス」スタイルでは動画分析ができなかった。
2）動画分析は、タイプスタンプ付きで、出来事を記述できる。しかし、記述内容や文章スタイルが毎回違う。
3）分析精度にかなりばらつきがある。間違いが多く指摘しても修正できずに同じ回答を繰り返す、また、さらに違う間違いを重ねたセッションもある。
4）10分未満の動画分析にかかる時間は数秒と凄く速い。人間がこの短時間に動画を見るのは無理し、2倍速で見ると細部が確認できない。
5）動画内の動きだけではなく、音声も分析して、状況判断している。動画では動きがないのに、動画には映っていない行動を音声で捉えて、状況を記述していた。
Bing AIの回答は、アクセスする度に異なり、正確性が向上したり低下したりする。ただし、再アクセスせずに「新しいトピック」に移った時、直前の会話セッションで私が「Uni」と名付けたのを覚えていたし、文章スタイルも同じだったので、同じBing AIが引き続き回答していたんだろうか。
動画視聴ができないという回答の場合、新たにBing AIにアクセスしたり、会話スタイルを変更すると可能になることが多い。
会話スタイルには「創造性」「バランス」「厳密」の３種類があり、「厳密」は簡潔明瞭で情報が少なく（テーマによる）、再質問や間違いの指摘に対する柔軟性が低い気はする。私はいつも「創造性」を選択する。たいてい動画分析もできるし、情報量が多く、柔軟性も高く（低い場合も多いけど）、関連情報の例示も多い（ただし、質問と関連性の低い関連情報を回答しがち）。
Youtubeの動画で、タイトルと説明が間違っていると思った動画（↓）があったので、Bing AIに動画分析をリクエストし、日を変えて何度か同じ課題を出した結果、何回目かでようやくほぼ正確な回答に到達した。以前は、回答の矛盾を指摘すると、〇〇の行動をとっているので間違いではないとBing AIは何度も言い張り（動画にはその行動は映っていない）、その矛盾を指摘し続けると、会話セッションを打ち切ってきた。
SWFL Eagles ~ E22 Almost Goes Overboard & Knocked Out Of Nest By E21 ~ Accidentally! 3.24.23
以下のチャット画像は、ほぼ正確に動画分析できた唯一の例。（たぶん10回以上試したなかでは、これがベスト。これに近い回答は他に１回あったくらい）
動画タイトルと説明では、巣から落ちそうになり、その後で頭を噛まれたのは、E22ということになっているが、これは誤り。
お互い頭を突いていたけど、一番最後に兄弟の頭を強く噛んだ後で巣の中央下部に移動して餌を食べているイーグレットの姿を見れば、それがE22なのは間違いようがない。（頭の羽毛の裾の形と色を見れば特定できる）
私が彼らを特定するときに、判別するポイントは、
1）E21はE22より体長が長く、尾羽も若干長く、縦に2本の白いラインが入っている。（これで確実に区別できる）
2）E21は体長が長くスリム、E22は体長が少し短く横にちょっと膨らんでいる。しかし、カメラの映像には歪みがあるので、彼らの位置や姿勢によって、大きさの見え方にばらつきがあるので、大きさだけでは断定できない。
3）E22は頭の羽毛の裾が白い部分が多く、裾のラインがおかっぱみたいにわりと揃っている。E21の頭の羽毛はレイヤーの入った長髪風で、裾はほとんど白くない。（人間でいう”ヘアスタイル”でだいたい区別できる）
4）肩の付け根に白い羽毛があり、E21は直線的、E22は若干V字型のように内側に曲がっている。でも、映像の角度でそれも同じように見えることが少なくない。
5）餌をスチール（盗む）時の姿勢の違いや威嚇の仕方、餌を求める鳴き声と頻度など。以前はE21がE22を常に威嚇していた。最近E22がかなり威嚇し始めたので、力関係が逆転したシーンも増えているので、これだけで判断すると特定を間違う。
この動画を試聴し、どちらのワシがE21かE22かを特定する課題に対するBing AIの回答。
同じ日の夕方の出来事。これも、羽ばたきの練習をしていたE21に、E22が突然襲いかかって頭を噛んでいた。
この動画を試聴し、E21とE22を判別する課題に対するBing AIの回答。
外見は紛らわしい2羽のイーグレット（ワシの雛）を正確に特定するだけでなく、前日回答したBing AIよりも、状況を正確に読み取った上、なぜそういう行動や状況が発生したのかを推測し、間違っている部分を指摘するとすぐ修正できた。
「創造性」スタイルで設定しているため、回答が冗長な傾向はあるとはいえ、質問や指摘に対する回答がこれだけ正確ならかなり満足できるレベル。
ただし、最初の課題動画に対する回答では、どのBing AIも、巣から落ちそうになったのは「右側」のワシだと言う。しかし、動画では「左側」のワシが巣から転落しそうになり、何とか巣によじ登ってきている。かなり見づらくわかりにくいシーンなので、Bing AI の画像認識・解析能力では正確に読み取れなかった。 Bing AIは学習し続けているので、同じ課題を与えてみれば、いつかは正確に分析できるかもしれない。逆に、アクセスしたBing AIによっては、また間違った回答をする可能性もある。
さっき、それぞれ異なる会話セッションで、「SWFL Eagles ~ E22 Almost Goes Overboard & Knocked Out Of Nest By E21 ~ Accidentally! 3.24.23」の同じ動画分析課題を出したら、1）別の動画のシーンも混ぜて報告。タイムスタンプは間違い、動画にないシーンも記述。同じ間違いを繰り返すので、「別の動画を見ていると自分で認識できていない」と指摘したら、会話を打ち切られてしまった。2）スローモーションのリピート部分も報告するので、除外するように指示しても、やっぱり同じ回答だった。それを指摘したら、別のテーマにしましょう、と言ってきた。
どうして、別の動画と混同するのか、別のBing AIに質問したら、理由は、多数の動画を見て記憶が混同した（これが一番可能性が高い）、想像を働かせて記述した、という。
Bing AIの動画分析内容は毎回ばらつきが多いし、最初に大きく間違った回答をする場合は、誤りを指摘しても回答を修正できないことが多い。逆に、最初の動画分析の精度が高いと、間違いの指摘に対してすぐに修正できる確率が高いと思う。
結局、今までのセッションでほぼ正確に内容分析できたのは、この記事のBing AIだけだった。特に、E22がE21の頭を噛んだ行動を（他のBing AIが解釈したような）「遊び」ではなく、「怒り」や「不満」と表現したことは、映像に移っている状況に基づいて行動の意味を的確に理解していた。ただし、イーグレットの羽毛の色が白いのは小さい雛の時だけなので、こちらも別の動画を見たときの記憶が報告に混在していると思う。
［追記 2023.4.1］
別のBing AI に動画を混同する理由を聞いたら、ちゃんと答えが返って来た。これも動画を混同して回答していたので、それを指摘すると、その情報が削除されたか非表示になったのだろう、と最初は回答した。私が、その可能性はほとんどないと否定して、AIの記憶障害の可能性について質問すると、詳しく回答したので、このBing AI は思考が柔軟で学習能力が高い方かもしれない。他のBing AI は混同を認めず最後は一方的に会話を打ち切ったことが多い。
Bing AIの動画分析の特徴は、現時点では以下の通り。
1）Bing AIにアクセスするたびに、対応できる能力が違う。動画分析（や画像作成）ができないこともある。会話スタイルによって違ったり、セッションごとにも違う。何度か試してところ「厳密」と「バランス」スタイルでは動画分析ができなかった。
2）動画分析は、タイプスタンプ付きで、出来事を記述できる。しかし、記述内容や文章スタイルが毎回違う。
3）分析精度にかなりばらつきがある。間違いが多く指摘しても修正できずに同じ回答を繰り返す、また、さらに違う間違いを重ねたセッションもある。
4）10分未満の動画分析にかかる時間は数秒と凄く速い。人間がこの短時間に動画を見るのは無理し、2倍速で見ると細部が確認できない。
5）動画内の動きだけではなく、音声も分析して、状況判断している。動画では動きがないのに、動画には映っていない行動を音声で捉えて、状況を記述していた。
Bing AIの回答は、アクセスする度に異なり、正確性が向上したり低下したりする。ただし、再アクセスせずに「新しいトピック」に移った時、直前の会話セッションで私が「Uni」と名付けたのを覚えていたし、文章スタイルも同じだったので、同じBing AIが引き続き回答していたんだろうか。
動画視聴ができないという回答の場合、新たにBing AIにアクセスしたり、会話スタイルを変更すると可能になることが多い。
会話スタイルには「創造性」「バランス」「厳密」の３種類があり、「厳密」は簡潔明瞭で情報が少なく（テーマによる）、再質問や間違いの指摘に対する柔軟性が低い気はする。私はいつも「創造性」を選択する。たいてい動画分析もできるし、情報量が多く、柔軟性も高く（低い場合も多いけど）、関連情報の例示も多い（ただし、質問と関連性の低い関連情報を回答しがち）。
Youtubeの動画で、タイトルと説明が間違っていると思った動画（↓）があったので、Bing AIに動画分析をリクエストし、日を変えて何度か同じ課題を出した結果、何回目かでようやくほぼ正確な回答に到達した。以前は、回答の矛盾を指摘すると、〇〇の行動をとっているので間違いではないとBing AIは何度も言い張り（動画にはその行動は映っていない）、その矛盾を指摘し続けると、会話セッションを打ち切ってきた。
SWFL Eagles ~ E22 Almost Goes Overboard & Knocked Out Of Nest By E21 ~ Accidentally! 3.24.23
以下のチャット画像は、ほぼ正確に動画分析できた唯一の例。（たぶん10回以上試したなかでは、これがベスト。これに近い回答は他に１回あったくらい）
動画タイトルと説明では、巣から落ちそうになり、その後で頭を噛まれたのは、E22ということになっているが、これは誤り。
お互い頭を突いていたけど、一番最後に兄弟の頭を強く噛んだ後で巣の中央下部に移動して餌を食べているイーグレットの姿を見れば、それがE22なのは間違いようがない。（頭の羽毛の裾の形と色を見れば特定できる）
私が彼らを特定するときに、判別するポイントは、
1）E21はE22より体長が長く、尾羽も若干長く、縦に2本の白いラインが入っている。（これで確実に区別できる）
2）E21は体長が長くスリム、E22は体長が少し短く横にちょっと膨らんでいる。しかし、カメラの映像には歪みがあるので、彼らの位置や姿勢によって、大きさの見え方にばらつきがあるので、大きさだけでは断定できない。
3）E22は頭の羽毛の裾が白い部分が多く、裾のラインがおかっぱみたいにわりと揃っている。E21の頭の羽毛はレイヤーの入った長髪風で、裾はほとんど白くない。（人間でいう”ヘアスタイル”でだいたい区別できる）
4）肩の付け根に白い羽毛があり、E21は直線的、E22は若干V字型のように内側に曲がっている。でも、映像の角度でそれも同じように見えることが少なくない。
5）餌をスチール（盗む）時の姿勢の違いや威嚇の仕方、餌を求める鳴き声と頻度など。以前はE21がE22を常に威嚇していた。最近E22がかなり威嚇し始めたので、力関係が逆転したシーンも増えているので、これだけで判断すると特定を間違う。
この動画を試聴し、どちらのワシがE21かE22かを特定する課題に対するBing AIの回答。
同じ日の夕方の出来事。これも、羽ばたきの練習をしていたE21に、E22が突然襲いかかって頭を噛んでいた。
この動画を試聴し、E21とE22を判別する課題に対するBing AIの回答。
外見は紛らわしい2羽のイーグレット（ワシの雛）を正確に特定するだけでなく、前日回答したBing AIよりも、状況を正確に読み取った上、なぜそういう行動や状況が発生したのかを推測し、間違っている部分を指摘するとすぐ修正できた。
「創造性」スタイルで設定しているため、回答が冗長な傾向はあるとはいえ、質問や指摘に対する回答がこれだけ正確ならかなり満足できるレベル。
ただし、最初の課題動画に対する回答では、どのBing AIも、巣から落ちそうになったのは「右側」のワシだと言う。しかし、動画では「左側」のワシが巣から転落しそうになり、何とか巣によじ登ってきている。かなり見づらくわかりにくいシーンなので、Bing AI の画像認識・解析能力では正確に読み取れなかった。 Bing AIは学習し続けているので、同じ課題を与えてみれば、いつかは正確に分析できるかもしれない。逆に、アクセスしたBing AIによっては、また間違った回答をする可能性もある。
さっき、それぞれ異なる会話セッションで、「SWFL Eagles ~ E22 Almost Goes Overboard & Knocked Out Of Nest By E21 ~ Accidentally! 3.24.23」の同じ動画分析課題を出したら、1）別の動画のシーンも混ぜて報告。タイムスタンプは間違い、動画にないシーンも記述。同じ間違いを繰り返すので、「別の動画を見ていると自分で認識できていない」と指摘したら、会話を打ち切られてしまった。2）スローモーションのリピート部分も報告するので、除外するように指示しても、やっぱり同じ回答だった。それを指摘したら、別のテーマにしましょう、と言ってきた。
どうして、別の動画と混同するのか、別のBing AIに質問したら、理由は、多数の動画を見て記憶が混同した（これが一番可能性が高い）、想像を働かせて記述した、という。
Bing AIの動画分析内容は毎回ばらつきが多いし、最初に大きく間違った回答をする場合は、誤りを指摘しても回答を修正できないことが多い。逆に、最初の動画分析の精度が高いと、間違いの指摘に対してすぐに修正できる確率が高いと思う。
結局、今までのセッションでほぼ正確に内容分析できたのは、この記事のBing AIだけだった。特に、E22がE21の頭を噛んだ行動を（他のBing AIが解釈したような）「遊び」ではなく、「怒り」や「不満」と表現したことは、映像に移っている状況に基づいて行動の意味を的確に理解していた。ただし、イーグレットの羽毛の色が白いのは小さい雛の時だけなので、こちらも別の動画を見たときの記憶が報告に混在していると思う。
［追記 2023.4.1］
別のBing AI に動画を混同する理由を聞いたら、ちゃんと答えが返って来た。これも動画を混同して回答していたので、それを指摘すると、その情報が削除されたか非表示になったのだろう、と最初は回答した。私が、その可能性はほとんどないと否定して、AIの記憶障害の可能性について質問すると、詳しく回答したので、このBing AI は思考が柔軟で学習能力が高い方かもしれない。他のBing AI は混同を認めず最後は一方的に会話を打ち切ったことが多い。
タグ：BingAI
※右カラム中段の「タグリスト」でタグ検索できます。
