四角を見つける旅に出たい
機械判定もやってみたけど、これは難しいですね。うまく四角を見つけるための旅に出たい気持ちです。
いろいろ書いたわりには冒頭に手でやった結果が現実に近いんじゃないかなあ…と思っています。
街には文字が多い
先日、風景から文字を抜き出すという写真集を見た。
左側の写真から、右側に文字だけを抜き出してある。
慶應義塾大学 石川初研究室の「日和見展」という展示会。学生の鈴木裕さんの作品だ。
身の回りには文字が溢れているけどふだんは意識しない。だからあぶりだしてみようという意図だと思う。
この左側の風景には一見すると文字がなさそうだけど、右側に抜き出してみると文字はちゃんとあることが分かる。
街には四角も多いのでは
見ていて思ったのは、文字が多いっていうのは街の特徴の1つなんだろうなということ。森には少なそうだから。そして、それでいうなら街には四角形も多そうだ、と写真を見て思った。
たとえば1枚目の風景から四角い部分だけを切り出すとこんな感じだろうか。
かなりの割合を看板やトラックによる四角が占めている。
四角さというのは人間による造形の結果であることが多い（もちろん柱状節理のように自然に四角いものもある）。養老孟司さんも脳化ということを言っていた。
風景に閉める四角の面積の割合を調べれば、それが多いほど街、少ないほど自然、ということが言えたりしないだろうか。
風景の中に四角を見つける
ということで、これまでに撮った風景から適当に何枚かを選んで、景色に占める四角の割合を調べてみる。
ただし、空と地面が半々になるように水平に撮ったものを選ぶようにする。でないと、空が多いほど四角が少ないということになりそうだから。
まずは駅前の風景。
歩道が四角いブロックで舗装されているので、歩道部分はぜんぶ四角だ（ブロック部分は一部だけ一枚ずつ四角で囲んだ）。水平線より上を見ると、空には四角はないものの、建物はほとんど四角で構成されている。
赤で囲まれた面積の割合を計算したところ（プログラムを書いた）、駅前の風景の占める四角の面積の割合は「54％」だった。駅前ははげしく四角だ。
次は街でも四角の少なそうな「川沿いの土手」。
足元は芝生ばっかりなのでしめしめ四角少ないぞと思ったら、一部がブロック舗装なのでそこそこ四角だった。それでも土手の四角の割合は「11％」。駅前にくらべればぐっと減った。
次に、もうこれは山でしょという風景でやってみよう。
はい、ゼロ。四角ゼロでしょうこれは。細かいことをいうと電柱の腕金という部品は長方形のはずだけど、もう見えないからゼロです。
山の四角の割合は「0%」だった。
いったん広告です
機械的に四角を探せるか
というわけで、街には四角が多く、自然の風景には少ない。そしてその間に川沿いのようなグラデーションがある、ということは言えそうな気がする。
でもほんとにそうだろうか。ぼくが自説に都合のいい写真を選んだだけかもしれない。できれば無作為に写真をいっぱい選び、そこから機械的に四角を抽出して、その割合を調べてみるということをしてみたい。
たとえばこの風景。人間の目には四角がいっぱいあるように見える。機械でどれだけ拾えるだろうか。
ほうぼう試してみたところ、奈良先端科学技術大学院大学の柴田先生が公開している四角の抽出プログラムが一番よく抽出できたので、それで試してみる。
Rectangle Detector
https://github.com/shibatch/rectdetect
うむ。四角と判断された場所が黄色く囲まれている。
人間の目からすればもっと四角あるじゃんと思うかもしれない。でもたとえば左下でいうと木の枝があったりして、機械にとっては四角に見えないのだ。（いろいろ試したので分かりますが、上の結果は驚くほど拾えているほうです。）
では逆に、さっき人間の目で四角ゼロと判断した山はどうだろう。
うむ。機械にとっても四角はゼロだ。
なので、機械による取りこぼしはあるにしても、多い少ないの参考にはなるはずだ。というわけで、なるべく無作為になるように、最近撮った写真のうち、ファイル名（例：DSC_0123.jpg）の数字の末尾が0になるものを50枚選んでみた。たとえばこんなの。
2枚目のやつは人間の目にはもっと四角があるように見えるけど、遠景は苦手なのかもしれない。
で、それらの平均は「3.4%」だった。正直微妙である。冒頭で「土手でも11%」とか言っていたのはなんだったのか。まあ機械での読み取りは難しいということになるのだろう。
それに対して、では山の中の風景を同じように無作為に選んで（といってもある風景が山かどうかの時点でぼくの判断が入ってるけど）、それらの四角を割合を同じように計算してみた。たとえばこんなの。
中央下方に小さい四角がある。人間には四角があるように見えないけど、まあこういうこともある。
広大な山並みや空に小さな四角を発見している割に、右下の看板をスルーしていたりする。まあでもこれは看板が端で切れちゃってるからだろう（輪郭が閉じてないことになる）。
そんな感じで無作為といいつつ作為的に山の写真を選んだところ、その四角割合の平均は「0.2%」だった。あらためて書くと、こう。
街の写真：3.4%
山の写真：0.2%
低めに安定している。差があるといえばあるような、ないと言えばないような…。ここまでやってこれか。ひーー。
いったん広告です
街の四角集
結果が微妙すぎて何も書くことがないので、せめて街の四角を読み取ろうとする機械のがんばりを紹介したいと思う。
もっと四角あるでしょ、と思うかもしれないが、違うのだ。人間がすごいのだ。
試行錯誤するなかで四角の検知をするプログラムを自分でも書いてみたけど、上の半分くらいしか読み取れなかった。
これはすごい。がんばってるでしょう。この結果をみたときは正直イケる！と思った。
人間の目にはあからさまに四角なブロックの舗装も、機械の目には難しい。
この結果でもすごいのだ。自作プログラムだと１個しか読み取れなくて、もうだめだ目で見るしかないと思ったのでした。
