絵文字と物理学 画像の「くっきりさ」を数値化する手法を開発

OISTの物理学者が提案した斬新な画像解析手法が芸術と科学の架け橋に。

Physics and emote design header image Fried Unit

絵画作品の芸術的性質を分析する際には、作品がいかにくっきりと鮮やかであるかを理解することが重要です。沖縄科学技術大学院大学(OIST)の力学と材料科学ユニットは、絵師たちの習慣から着想を得て、デジタル画像の「視覚的な鮮明さ」を定量的に評価する新たな手法を提案しました。これにより,絵画制作の過程から物理現象における変化まで、構造の移り変わりを正確に捉えることが可能になりました。  

この手法は、科学や芸術分野での分析や意思決定を向上させ、画像構造の理解や解析方法に変革をもたらす可能性を秘めています。デジタル絵作品と物理モデルで応用価値が検証された本研究は、学術誌『米国科学アカデミー紀要(PNAS)』に掲載されました。 

デジ絵の「鮮明さ」を数学で定義する  

研究チームは、画像をぼかしても視覚要素がどれだけ保持されるのかを測定し、デジタル画像の「鮮明さ」を,高校数学を用いて数値化しました。測定から得た「鮮明度」は、画像の分析と創作の両方に役立つ指標として使えます。 

この手法は、画像における隣り合うピクセルをランダムに入れ替えることで画像をぼかし、その後、元画像と比較する事で、構造がどれだけ類似しているかを測定します。色のコントラストが高く、構造が多く残る画像には高い値を、そして、単色、或いはカオスとなった画像にはゼロを割り当てます。 

「『鮮明さ』をぼかしに対する抵抗力と定義しました。絵師たちが、作品がどれだけはっきり見えるかを評価するために、キャンバスをズームアウトして全体像を確認する技法から着想を得ました。数学的には、鮮明度は色のコントラストやその空間的分布で表現できます」と、力学と材料科学ユニットを率いるエリオット・フリード教授は説明します。 

提案された鮮明度の測定手法は画像の色彩を保ち、圧縮された画像にも機能します。各種画像分析や物理現象における構造変化の検出にも役立つほか、色の相互作用とそれが人間の知覚に与える影響を研究する「色彩理論」とも一致しています。本質的には、鮮明度は画像の構造がどの程度のぼかしに耐えながら元画像との類似性を保っていられるかを示しています。 

「絵師たちは常に技法や構図について実験しています。この発想は、絵文字を描いているときに思いつきました。実験物理学者として、作品の鮮明さ、バランス、調和など芸術的性質を定量的に評価できる手法を開発できればと思いました。本研究成果によって、美術研究者たちがさまざまな構図を試行し、発見を客観的かつ定量的に共有できるようになると期待しています」と、本論文筆頭著者のサント・チャン博士は述べています。 

絵文字とは、感情を伝える、表現力豊かな小さな画像やアニメーションのことで、特にオンラインコミュニティやストリーミングプラットフォームで使用されています。 

ゲーム、バーチャルユーチューバー、絵文字 

鮮明度を基に、研究チームはゲーム「Holo X Break」の絵文字を設計しました。本研究成果が商業案件においても機能するということを明らかにしました。 

「バーチャルユーチューバー(VTuber)のさくら みこさんを題材に選びました。自分は『35P(みこぴー)』と呼ばれる、彼女のファンの一人だからです。以前、35Pの仲間たちと一緒に、ニューヨークのタイムズスクエアで彼女の活動5周年を祝うために広告掲示板を借り、アニメーションを作製,展示する機会がありました。このような『推し事』への情熱を『お仕事』に注いだ結果、今回の論文が生まれました」とチャン博士は付け加えます。 

 

Illustration of clarity reduction - Effects of blurring and color contrast
鮮明度の低下の例:ぼかしと色コントラストの影響。上段は、コントラストを一定に保ったまま、ぼかしが鮮明度に与える影響を示している。下段は、色の配置を固定したまま、コントラストの低下が鮮明度に与える影響を示している。
Chan et al., 2024
鮮明度の低下の例:ぼかしと色コントラストの影響。上段は、コントラストを一定に保ったまま、ぼかしが鮮明度に与える影響を示している。下段は、色の配置を固定したまま、コントラストの低下が鮮明度に与える影響を示している。
Measuring image quality and stability
画質と安定性の測定。(A)オリジナル作品:いかだに乗った姫森ルーナとルーナイト(ホロライブプロダクション)のピクセルアート。(B)65万回のピクセル反転後のぼやけたバージョン - 作品の構造は劣化するが、いかだの形状は依然として確認できる。(C)色差マップ:構造の安定性を示すグレースケール画像 - 黒い部分は安定しており、白い部分は安定していない。(D)劣化スコア:ピクセルの反転による作品の構造の変化を、完全にシャッフルしたバージョンと比較して示している。(Dの挿入図)色分布:作品で最も頻繁に使用されている50色の3D散布図で、赤、緑、青の色空間における分布を示している。(E)構造安定性: 構造安定性を測定する基準(∆S)を定義し、ピクセル反転数が画像サイズとほぼ等しいときに構造安定性が最大になることを示している。
Chan et al., 2024; Artwork by Ronin (@zeth_total)
画質と安定性の測定。(A)オリジナル作品:いかだに乗った姫森ルーナとルーナイト(ホロライブプロダクション)のピクセルアート。(B)65万回のピクセル反転後のぼやけたバージョン - 作品の構造は劣化するが、いかだの形状は依然として確認できる。(C)色差マップ:構造の安定性を示すグレースケール画像 - 黒い部分は安定しており、白い部分は安定していない。(D)劣化スコア:ピクセルの反転による作品の構造の変化を、完全にシャッフルしたバージョンと比較して示している。(Dの挿入図)色分布:作品で最も頻繁に使用されている50色の3D散布図で、赤、緑、青の色空間における分布を示している。(E)構造安定性: 構造安定性を測定する基準(∆S)を定義し、ピクセル反転数が画像サイズとほぼ等しいときに構造安定性が最大になることを示している。
Dr San To Chan animated the VTuber Sakura Miko for the NYahello2023 project
WorldWide 35P Networkのメンバーであるサント・チャン博士は、N.Y.ahello2023プロジェクトの一環として、米ニューヨークのタイムズスクエアのビルボード大型LEDディスプレイ広告に表示されるVTuberのさくらみこさんのアニメーション制作に携わった。N.Y.ahello2023プロジェクトとは、さくらみこさん活動5周年を記念したファン主導の企画の事である。チャン博士の研究は、ゲーム「Holo X Break」の開発段階で行われた。この時、ゲームの開発者がチャン博士にいくつかの絵文字を提供するよう依頼したことがきっかけだった。
@MarkV_R
WorldWide 35P Networkのメンバーであるサント・チャン博士は、N.Y.ahello2023プロジェクトの一環として、米ニューヨークのタイムズスクエアのビルボード大型LEDディスプレイ広告に表示されるVTuberのさくらみこさんのアニメーション制作に携わった。N.Y.ahello2023プロジェクトとは、さくらみこさん活動5周年を記念したファン主導の企画の事である。チャン博士の研究は、ゲーム「Holo X Break」の開発段階で行われた。この時、ゲームの開発者がチャン博士にいくつかの絵文字を提供するよう依頼したことがきっかけだった。

研究以外では、チャン博士は絵描きとしても活動しており、ホロキュアなどインディーゲームの開発にも携わっています。本研究では、同業たちの実際の作品を扱うことで、専門経験を活かし、分析結果に高い信頼性をもたらしています。 

チャン博士とフリード教授は、鮮明度について新たな応用を模索しており、芸術分析を変革する可能性があると信じています。エンジンが熱エネルギーを機械的な仕事に変換するように、絵師たちは鮮明さを、調和、バランス、リズムなどの芸術的性質に変換しているからです。 

二人は、このような「芸術熱力学」は、実際に絵師が絵を描く時に行うあらゆる判断の論理的根拠を追及するのに役立つのではないかと考えており、絵師自身の技術をさらに磨くために有益な知識を提供できることを期待しています。 

広報・取材に関するお問い合わせ
報道関係者専用問い合わせフォーム

シェア: