特集 2023年6月9日

写真をAIに文章で説明してもらう→それをもとにまた画像を作る→外国になる

文章から画像を生成するツールがあるが、画像から文章を生成するツールもある。ある画像から始めて両者の間を往復させ続けるとどうなるだろうか。

1976年茨城県生まれ。地図好き。好きな川跡は藍染川です。(動画インタビュー)

前の記事:水の傘をつくる(デジタルリマスター)

> 個人サイト ツイッター(@mitsuchi) >ライターwiki

画像の伝言ゲームをやってみたい

文章から画像を生成するAIツールが話題になったが、いっぽうで画像から状況を説明する文章を生成するAIツールもある。

文章をもとに画像を生成するツールがある(DALL·E、Stable Diffusion など)
いっぽう、画像をもとに文章を生成するツールもある(SceneXplain など)

それらを組み合わせて画像→文章→画像→文章→・・と変換していくとどうなるだろうか。

ようは伝言ゲームなので、再現なくどんどん違う画像になっていくことが予想されるが、どこかでうまく収束するかもしれない。

とにかくやってみよう。
 

※本記事では文章から画像を生成するために Image Creator from Microsoft Bing を、画像から文章を生成するために SceneXplain を利用しました。最後に詳細をまとめます。

 

納税前の記念写真

まずはこの写真から出発する。税務署の前でやけくそになって撮った記念写真だ。AIはこの状況を説明できるだろうか。出力はこうなった。

↓ 画像から文章を生成

 

「画像は、緑のジャケットと白いシャツを着て駅前に立つ男性を捉えたものです。彼は、日本のシンボルが描かれた看板の前に立っています。この看板は、駅の広告や案内表示と思われる。男は駅の近くに位置し、入る準備をしているように見える。カメラは男性と看板に焦点を合わせ、その他の背景はぼかしとピンボケのままである。このシーンは、様々な文化が混在する賑やかな都市環境を示唆しています。」

 

けっこう長い。「緑のジャケットと白いシャツを着て」のところはだいたい合ってるが、「駅前に立つ男性を捉えたものです」は間違ってる。ただ、日本の税務署の前で立ってるなんていう特殊な状況は読み取れなくて当然だ。この写真を選んだぼくが悪い。

ではこの文章(画像は、緑のジャケットと〜)をもとに画像を生成してみよう。

↓ 文章から画像を生成

 

中華圏のどこかになった

 

おお、近い。駅前で少し薄暗いが、だいたい一緒だ。比較のために元の写真と並べてみよう。

これが似てるということは、AIが画像から状況を説明する力も、文章から画像を生成する能力も高いということだろう。

ではこの過程を繰り返すとどうなるだろうか。以下に結果をまとめてみる。

中華圏にたたずむ緑のジャケット男

夜の都会で、緑のジャケットを着た男が駅の外に立ち、上を見つめている。駅前は深夜にもかかわらず賑やかで、画面のあちこちに人の気配が感じられる。 

(※実際に生成された文章はこの数倍だが、読みやすさのため一部のみを抜粋した。画像生成の際には全文を入力している。以下同様)

↓ 

上を見つめだす

 ↓

この画像では、男性が夜の駅前に立っています。また、男の耳のアップがあり、コンピュータの画面を見ているように見える。

(※耳のアップがあるようには見えないが、これ以降、耳がクローズアップされていく)

人物にクローズアップ

↓ 

この画像では、男性の左耳がクローズアップされ、繊細な解剖学的構造の輪郭と詳細が捉えられています。

↓ 

耳だけになってしまった

↓ 

スーツ姿で背筋を伸ばし、ダイナミックにきらめく都会の夜景を眺める男性。手前には男性の顔の左側が写り、耳とあごが強調されています。

↓ 

たしかに顔の左側だが、後ろからになった

↓ 

賑やかな都会の風景を背景に、シャープに着こなした男性が自信に満ちたポーズをとっています。その人物は前景に立ち、広大な都市を見渡しながら、その落ち着いた態度で注目を浴びています。 

↓ 

急にどうした、成功者か

↓ 

手前には、身なりの良い男性が堂々と立っており、その姿は街の光に照らされてシルエットになっている。この男は、都会の風景を見渡しながら、自分の野心や成功について考えているようです。

明らかに自信満々だ

↓ 

夜景に包まれた大都市を背景に、ライトアップされた街並みを見つめる一人の男性の姿。スーツとネクタイをきちんと着こなし、シャープで自信に満ちた横顔を際立たせ、街の前に立っている。

あまり変わらないが、ビル群が奇抜に

夜の輝きに照らされた賑やかな街並みを前に、堂々と佇む男。漆黒の空を背景に、シャープなスーツを着こなし、自信に満ち溢れた男のシルエットが印象的です。

最終的に影だけになった。闇の存在っぽい。

かけ離れつつも収束した

というわけで変換を10回繰り返してみた。画像だけをまとめるとこんなふうだ。

最初と最後を比べると、納税しに来たおじさんが闇の支配者になっており、かけ離れた画像になっている。伝言ゲームだとありそうなことだ。

一方で、7回目以降はだいたい同じような画像に収束しているようにも見える。都会を背景にした男のシルエットだ。

これは一般的な傾向なんだろうか。別の画像でも試してみよう。

いったん広告です

東京タワーだとどうなる

次は人物ではなく街の景色でやってみよう。

東京都港区、東京タワーの写っている風景だ。前回と同じく、文章については要点だけを抜粋し、簡潔にまとめてみる。

東京タワー

青空に向かってそびえ立つ東京タワーの象徴的な姿。黒いメルセデス・ベンツCクラスが道路を走り、フレーム左下のマンションを通り過ぎる。

おおむね再現されており、すごい

 ↓

背景には東京タワーがそびえ立ち、その周りには高層ビルが立ち並び、どこまでも広がる都会の喧騒を表現しています。手前には黒いセダンがタワーの前に停まっており、車の下からタイヤが覗いている。

ほぼ変わらず

賑やかな街角に停車する黒塗りの車を中心に、賑やかな街並みを表現しています。その隣には、オレンジと白のバスが停まっている。反対側では、黄色いタクシーが乗客を待っているのが見えます。

背景には東京タワーがそびえ立ち、晴天の青空と見事なコントラストを描いています。

スカイツリーになってしまった

手前には、黄色いスクールバスの前に黒い高級セダンが停まっています。その隣には、オレンジ色の公共交通機関のバスが停車し、道路脇には白いミニバンが停まっています。

スカイツリーも消え、おそらく日本ではなくなった

この画像は、ニューヨークの賑やかな通りの喧騒をとらえたもので、全体的にさまざまな車両が見られます。道路の左側には黒いメルセデスのSUVが停まっており、手前には黄色いタクシーが見える。

イエローキャブが現れ、マンハッタンになった

賑やかな街角に黄色いタクシーが並び、周囲の灰色の建物とコントラストをなしている。その中に、黒いトヨタ・アバロンが停まっている。

黒い車の列がちょっと大阪感もある

↓ 

都会の喧騒の中、賑やかな通りに並ぶ黄色いタクシー群。近くの駐車場には、レッドブルのF1マシンが停まっている。

(※どこにF1マシン?)

突然夕方になった。よくみると車にレッドブルのロゴが。

夜の賑やかな街並みを描き、様々な黄色いタクシーや車が登場するイメージです。映像の中央には、街の喧騒に包まれた看板のある大きなビルが見えます。

夜のブロードウェイだ

鮮やかな夜景の中に、大都市のエッセンスを凝縮した一枚の絵があります。誰もいない道を走る一台の黄色い車が描かれた、寂しげな絵です。

ニューヨーク郊外に移動して絵画調に

収束しなかった

まとめるとこんなふうだ。

最初の数枚は景色がほぼ変わらず、すごいと思った。しかし東京タワーがスカイツリーになったあたりからどんどん変わりだし、港区→墨田区→マンハッタン→ニューヨーク郊外と場所も変化した。この先もどんどん変わっていきそうだ。

税務署の写真が早い段階で収束したのは偶然だったのかもしれない。 

⏩ ただの正方形から部屋が現れた

▽デイリーポータルZトップへ つぎへ>

katteyokatta_20250314.jpg

> デイリーポータルZのTwitterをフォローすると、あなたのタイムラインに「役には立たないけどなんかいい情報」がとどきます!

→→→  ←←←

 

デイリーポータルZは、Amazonアソシエイト・プログラムに参加しています。

デイリーポータルZを

 

バックナンバー

バックナンバー

▲デイリーポータルZトップへ バックナンバーいちらんへ

新着記事

  • しゃっくり専門の病院「しゃっくり外来」に行ってきた(傑作選)

    しゃっくり専門の病院「しゃっくり外来」に行ってきた(傑作選) (高瀬雄一郎) (05.19 18:00)

  • ある意味地層 / うっかりデイリー 2025年5月17日号

    ある意味地層 / うっかりデイリー 2025年5月17日号 (デイリーポータルZ) (05.19 17:00)

  • 書き出し小説大賞 291回秀作発表

    書き出し小説大賞 291回秀作発表 (天久聖一) (05.19 16:00)

  • プロジェクションマッピング+顔ハメ看板「プロジェクション顔ハメ」を作る

    プロジェクションマッピング+顔ハメ看板「プロジェクション顔ハメ」を作る (林雄司) (05.19 11:00)

  • 美しきレタス染めの世界

    美しきレタス染めの世界 (べつやく れい) (05.19 11:00)

  • 5.19~23は失敗ウイーク

    5.19~23は失敗ウイーク (林雄司) (05.19 11:00)

  • 禍福論争(2025.5.19 朝エッセイ/伊藤健史)

    禍福論争(2025.5.19 朝エッセイ/伊藤健史) (伊藤健史) (05.19 10:59)

  • 2025.5.18)戸塚の長い階段、函館の安いミスド、ラーメン食べたさ比べ~先週よく読まれた記事

    2025.5.18)戸塚の長い階段、函館の安いミスド、ラーメン食べたさ比べ~先週よく読まれた記事 (林雄司) (05.18 11:00)

  • ジェルボール型洗剤の見た目比べ 半透明のかっこよさを堪能する

    ジェルボール型洗剤の見た目比べ 半透明のかっこよさを堪能する (爲房新太朗) (05.17 11:00)

  • 佐渡島の岩海苔を摘んで伴海苔(板海苔)を作る食文化を体験した

    佐渡島の岩海苔を摘んで伴海苔(板海苔)を作る食文化を体験した (玉置標本) (05.17 11:00)

  • 丸亀算(2025.5.17 朝エッセイ/ほり)

    丸亀算(2025.5.17 朝エッセイ/ほり) (ほり) (05.17 10:59)

  • 近所にちくわぶの直売所があると聞いて(傑作選)

    近所にちくわぶの直売所があると聞いて(傑作選) (パリッコ) (05.16 20:00)

  • メーカー勤務とライター業の二足のわらじをはく(ほり×まいしろ 第2回)

    メーカー勤務とライター業の二足のわらじをはく(ほり×まいしろ 第2回) (デイリーポータルZ) (05.16 18:00)

  • 床を食べる

    床を食べる (トルー) (05.16 16:00)

  • 水なすは、もはやフルーツ

    水なすは、もはやフルーツ (とりもちうずら) (05.16 11:00)

  • 普通に早押しクイズをやってみる

    普通に早押しクイズをやってみる (西村まさゆき) (05.16 11:00)

  • ゲームをするのに酔い止めを飲む(2025.5.16 朝エッセイ/江ノ島)

    ゲームをするのに酔い止めを飲む(2025.5.16 朝エッセイ/江ノ島) (江ノ島茂道) (05.16 10:59)

  • スーパーでよく聞く「♪ポポポポポ~」を流す機械を作った会社(傑作選)

    スーパーでよく聞く「♪ポポポポポ~」を流す機械を作った会社(傑作選) (井上マサキ) (05.15 18:00)

  • 源氏物語の登場人物の気持ちになりたくて、都から宇治まで約20km歩く

    源氏物語の登場人物の気持ちになりたくて、都から宇治まで約20km歩く (こーだい) (05.15 16:00)

  • ロジカルに予想しろ!国内店舗数フェルミ推定クイズ

    ロジカルに予想しろ!国内店舗数フェルミ推定クイズ (ほり) (05.15 11:00)

  • ボードゲームを作ってゆっくり挫折する

    ボードゲームを作ってゆっくり挫折する (北向ハナウタ) (05.15 11:00)

  • 堂々としているけどダメ(2025.5.6 朝エッセイ/べつやくれい)

    堂々としているけどダメ(2025.5.6 朝エッセイ/べつやくれい) (べつやく れい) (05.15 10:59)

  • 1キロのポークステーキは食べられるのか(傑作選)

    1キロのポークステーキは食べられるのか(傑作選) (江ノ島茂道) (05.14 20:00)

  • 三重県出身で 18歳で上京「出身と経歴がかぶっているふたり」(ほり×まいしろ 第1回)

    三重県出身で 18歳で上京「出身と経歴がかぶっているふたり」(ほり×まいしろ 第1回) (デイリーポータルZ) (05.14 18:00)

  • 集まれ心配性 ~心配性エピソードを募集します~

    集まれ心配性 ~心配性エピソードを募集します~ (井上マサキ) (05.14 16:00)

  • 函館のミスドは地元パン屋のおかげで安い

    函館のミスドは地元パン屋のおかげで安い (いまいずみひとし) (05.14 11:00)

  • JR戸塚駅前の階段が長い、そして高い

    JR戸塚駅前の階段が長い、そして高い (安藤昌教) (05.14 11:00)

  • ゴールの起点とは(2025.5.14 朝エッセイ/伊藤健史)

    ゴールの起点とは(2025.5.14 朝エッセイ/伊藤健史) (伊藤健史) (05.14 10:59)

  • 食べられるうちに挑戦したい!ドーナツの食べ放題に行く(傑作選)

    食べられるうちに挑戦したい!ドーナツの食べ放題に行く(傑作選) (江ノ島茂道) (05.13 18:00)

  • 食いしん坊ライター江ノ島茂道さん「実はそんなに食べられない」

    食いしん坊ライター江ノ島茂道さん「実はそんなに食べられない」 (デイリーポータルZ) (05.13 17:00)

バックナンバー

広告企画

  • thumb.png

    リアルちょっとしたパーティーを開催しました (04/09 11:00)

  • thumb.jpg

    ほぼ百字で完結する小説がある ~ 小説家・北野勇作さんインタビュー (02/28 11:00)

  • thumb.jpg

    3月20日 リアルちょっとしたパーティーを開催します (02/27 12:00)

  • xpark_thumbnail.jpg

    1500km離れた人と「遠隔カラオケ大会」をすると一体感がすごい (02/06 11:00)

  • 100.jpg

    公衆トイレの待ち行列に並び、順番の抜かしあいでバトルする新感覚ゲーム (01/23 11:00)

広告企画のごあんない

Amazon検索

書評

undefined

傑作選

  • 2022~2023年傑作選 (12.19 22:40)

  • インスタントな温かさが染みる! ~カップ麺まとめ (11.25 16:00)

  • 朝ごはんで一日の活力を!~朝ごはんの記事まとめ (11.11 16:00)

  • オイリー、オンリー! 油でアゲアゲ!~揚げ物・フライまとめ (10.28 16:00)

人気まとめ

投稿コーナー

  • 日常の「かわいい」募集します

    日常の「かわいい」募集します (04.16 16:00)

  • シーシャで停学、ウチのAIぜんぜん融通が効かないのよ~今、こんなことになってるんだ3 (03.19 11:00)

  • 募集「今、こんなことになってるんだ」 (03.05 16:00)

  • 栗むし羊羹も後藤久美子もココアも~ぜんぜん違うね第2回 (03.18 16:00)

企画いちらん

関連書籍

  • 書影

    デイリーポータルZ傑作選 Jokes take us far ¥1,320

    詳細

  • 書影

    ビジネスマン超入門365¥1,650

    詳細

  • 書影

    雑に作る¥2,640

    詳細

懐かしの記事