生成AIで一発お手軽に……ではなかったアニメ「ツインズひなひま」　“職人技”が光る制作の舞台裏を聞く

　3月29日に異色の手法で制作されたTVアニメが放送された。AIを積極的に活用したことを全面に打ち出した「ツインズひなひま」だ。

【画像を見る】「ツインズひなひま」で使われたAIモデルは？　制作資料はこちら（全12枚）

　「動画生成AIを用いて簡易に作ったのでは？」という誤解もあるようだが、この作品はそんな方法で生まれたものではない。モーションキャプチャー、ゲームエンジン、セルルックキャラクターの強化学習から生まれた膨大な静止画画像を、手作業で組み合わせた大規模な工程によるものだ。

　昨今AIを用いているだけで批判される風潮もあるなか、あえてAIを全面に押し出したのはなぜなのか？　制作にあたってどんな苦労があったのか？　今後さらなる展開はあるのかなど気になるポイントについて関係者に話を聞いた。

●AIでアニメを作る――そのきっかけは？

――ツインズひなひまはどういった経緯で企画がスタートしたのでしょうか？

黒澤：もともとはKaKa CreationさんがスタートさせていたTikTok上でのAIアニメプロジェクトに関するプレスリリースを拝見し、私たちフロンティアワークスが問い合わせした流れで、TVアニメについて一緒に展開していこうということになりました。

黒澤典弘（フロンティアワークス映像事業部）

2009年にフロンティアワークスに入社。アニメ制作・ビデオグラム商品制作などを担当。主な担当作品はTVアニメ「落第騎士の英雄譚」、TVアニメ「治癒魔法の間違った使い方」など。

飯塚：2023年6月に「AIを使ってアニメを作る」ことを目的に創業メンバーの一人として起業し、TVアニメの原作となったツインズひなひまをスタートさせています。当時は「Stable Diffusionがすごいぞ」と話題になっていたような時期です。とはいえ、静止画やごく短い動画の生成が中心で、当時「コンテンツ」として完成させている人はほとんどいなかったと思います。そこで、AIなどの技術を用いて「仕上げる」ことには意義があるだろうと考えたのです。

飯塚直道（KaKa Creation CCO/プロデューサー）

2016年にサイバーエージェントへ新卒入社。Abema「にじさんじのくじじゅうじ」などの番組を担当後Production I.Gで「ULTRAMAN」FINALや「攻殻機動隊 SAC_2045」劇場版のラインプロデューサーを務める。KaKa CreationではCCOとして企画や品質管理を担い、現在も複数のアニメ作品をプロデュース中。

　そこで、まずは最小限の構成内容、つまりストーリーや音声、カメラワークを必要としない内容でコンテンツが完成する「踊ってみた」動画からはじめようと発案しました。「アニメTiktoker」と銘打って、踊るというアニメーションだけに焦点を絞ってコンテンツを制作・運用していく方向で23年の11月にYouTubeチャンネルに動画を公開し、TikTokにも動画投稿を始めています。

――バーチャルTikTokerとしての活動が当初はメインだったわけですね。そこからTVアニメへ、というのは、プロジェクトとしても大きな跳躍がありますが、フロンティアワークスとしては、どういう経緯でそれを実現させようということになったのでしょうか？

黒澤：われわれとしては、いくつもTVアニメに関わるなかで現場にさまざまな課題があることを知り、またAIでその解決を図れないかという現場からの可能性を探る声も届いていました。会社としても技術を用いて、新しいアニメの作り方ができないかと模索をしていたタイミングだったのです。

　そんな中、KaKa Creationさんのツインズひなひまがスタートしたというプレスリリースを拝見し、「これは面白そうだ」と上司と二人でお話を伺いにいったのがきっかけでした。最初のヒアリングで大きな手応えがありましたので、すぐに社長（辻政英氏）も交えて再訪し、トップ判断として「TVアニメ」にチャレンジしようということになりました。

――社長肝いりのプロジェクトだったのですね。

黒澤：そうですね。都度プロジェクトの方向性にも意見をもらいましたので、そう呼んでも問題ないかと思います。

●目標はセルアニメ――ルック・モーションとの格闘

――Stable Diffusionは当初画像（静止画）の生成に強みがありましたし、一貫性があり、比較的長いダンス動画を生成するにはいろいろ工夫が必要ではなかったかと思います。

飯塚：そうですね。もともと私はCGプロデューサーでもあるのですが、リサーチをしていくなかで、Stable Diffusionと3DCGとの相性が良いということが分かり、最初の動画では、まずそのアプローチで制作するのが現実的だと考えました。この基本的なフローはTVアニメでも同じです。

　モーションキャプチャーを行い、そこから用意される3DCGモデルをAIでセルルックに変換するのですが、これは3DCGだけでアニメ調にする「セルルック」とは比較にならないほど、手描き感のあるものになります。セルルックが、あくまで境界線や塗り・シェーディング等の調整で手描き風に「見せている」のに対して、あらかじめ学習した実際の手描きイメージにのっとって、ルック（見た目）が「生成」されるからです。

　ただ、技術的にはいま見ると、TikTokで投稿した1本目の動画はその後放送されたTVアニメと比較するとクオリティーは決して高くありません。特にAIには時間の概念がなく、映像における「連続性」を表現することが苦手なので、アニメーションの肝となるタメやツメなどのタイミングが自動的には生まれてきません。

　そこで、AIに入力する3DCGからの連番画像の方を、あらかじめ私たちが演出意図にそって間引くなど調整を施し、AIがそれらの画像の色やシルエットなどの要素をどれぐらい追随するか（現場ではこれを「依拠性」と呼んでいた）をパラメーターで調整しながら、1枚1枚生成していくということを行っていました。特に23年時点のStable Diffusionは、この依拠性を高めておかないと相当破綻した映像を出力してしまうため、結果的に手間を掛けているにもかかわらず、3DCGのプレビューとそこまで変わらない映像になってしまっていました。

　そこからはTVアニメを制作していくなかでも技術検証を続けていたというのが実際のところです。当初のダンス動画に寄せられていた「映像がちらついて見える」「3DCGのプレビューと何が違うのか（AIを用いる意味があるのか？）」といった指摘は、1年余りの技術のアップデートの結果、TVアニメに対してはほとんど見られなくなったのは良かったと思っています。

――キャラクターデザインには「ラブライブ!虹ヶ咲学園スクールアイドル同好会」などを手掛けられた横田拓己氏を起用されていますが、そのデザインのテイストを生成AIで再現するにあたってはどのような工夫が必要だったのでしょうか？

飯塚：ブレークスルーは2023年7月にリリースされたSDXLモデル※を、作品のワークフローにも導入したことですね。このあとご紹介するワークフローの改善（低解像度で生成した画像の高解像度化）とあわせて、Stable Diffusion自体のパラメーター数が大幅に増加したことで画質・詳細度が格段に向上しました。インターネットの黎明期とも似ていて、技術をキャッチアップしておけば、それらを用いた成果物の品質もそれに応じて向上していくという、いまはそういう時期だと捉えています。

※SDXL（Stable Diffusion XL）は英Stability AI社によって開発された、画像生成AIモデル。23年7月にリリースされたが、当初は問題も多く「ひなひま」では高品質なルックが得られるようになったおよそ半年後から本格導入を始めている。

●AIは必ずしも省力化につながらない

――TVアニメについて、事前取材で制作の際に扱った静止画連番ファイルはキャラクターのみで3万枚弱、その他の中間素材を含めると10万枚以上だったと伺っています。そこから取捨選択を行い、アニメのリズム感にコマを落として1万枚〜1万5000枚とした静止画に対して、AIによる仕上げ加工を行ったということなので、単純に物量でいえば作画アニメーションと大きく変わらないですね。

飯塚：TVアニメ・ツインズひなひまに限っていえば、通常のTVアニメと変わらない労力が掛かっているのではないかと思います。でも、いま作画アニメーションでは3DCGが用いられていない作品というのはほとんどないのですが、では3DCGが作画アニメーションの負担を減らしたのかといえば、工程が複雑になり、やることが増えたという面も否定できないと思います。

――AI活用によって、作業が減らせる、というわけではない？

飯塚：はい。Stable Diffusionにもv2v（video-to-video）という機能があり、それを用いればもっと簡単に作れるのじゃないかという見方もあると思いますが、動きをAIに考えさせると、どうしても現状「気持ちの悪い」動きになってしまいます。将来的に改善はされると思いますが、「日本のアニメらしさ」を再現しようとすると静止画連番をもとに、きちんとタイミングもとりながら映像にするのがベストだと考えました。

　もちろん、3DCGもAIも活用によって恩恵を受けられる面もたくさんあって、例えばアニメに限らず映像の画面に求められる情報量は増え続けています。手描きではコストが掛かる群衆や爆発などのエフェクトにさまざまな3DCGを用いることで、その情報量を担保しているという恩恵があるわけです。私たちも理想としては作業者の負担を減らしたいという思いはあるのですが、アニメにおける3DCG導入のこれまでを振り返ると、逆に（今後の工程の改善があっても）労力が増えてしまう可能性もあると考えています。

――「アニメ制作における課題解決につながる」という期待があったというお話でもありました。AI導入が3DCGのように画面の情報量を増やすことには貢献できても、作業の削減にはつながらないとなると、100％はその期待に応えるものではなかったということになりますか？

黒澤：そこはまさに走りながら課題を洗い出していく過程だったといえるかと思います。私たちとしては課題が出てきたら、それをさらに次に生かしていこうという考え方で向き合ってきました。

　世界中で愛されているTVアニメは、歴史と技術の積み重ねがあり、いまもクリエイターの皆さんが心血を注いで作っています。一方で、やはり現場には課題があり、AIがその解決に役立つのではないか、という期待もあるのも事実です。スタジオさんと共に歩んでいくうえで、私たちメーカーも率先して取り組まなければならないと考えています。

　そして、一言でTVアニメといっても、そこから展開されるビジネスも含めて、さまざまなバリエーションがあります。例えば大きな予算と手間をかけて制作して大規模なビジネスで回収を図るものもあれば、予算と工数の最適化を図りながらビジネス展開していくものなどさまざまあるわけです。ツインズひなひまについても視聴者の皆さまのさまざまな反応も含めて、KaKa Creationさんとも「AIで何ができて何ができないのか」も整理しながら、次のステップや可能性を探っていきたいと考えています。

――ビジネス展開の可能性も含めてR＆D（研究開発）の一環であったということですね。

黒澤：そうなります。だからこその社長肝いりのプロジェクトでもありましたし、1話限定の取り組みでもあったわけです。そのうえで権利運用も含めていろいろ試して見よう、ということですね。

飯塚：私の方からも少し補足をすると、プロジェクト全てに対してAIを活用となると、確かに作業量は減らず、むしろ増える可能性もあるのですが、工程それぞれに対して限定的に使用することで作業量を大幅に減らせる可能性も見えてきています。

　資料にあるような写真を1枚のアニメ背景美術に一から作画すると、最低でも1時間程度は掛かりますが、これをAI変換したもののレタッチからはじめれば10分〜15分程度で行うことができます。

　動画についても、モーションキャプチャーから3DCGを介して生まれた連番画像に対するAI変換という取り組みは、作画アニメに対して作業が純増してしまった面はあるのですが、そこまで大規模な工程を必要としないカットでは、背景同様AIが効率化に生かせる場面はあります。例えばわれわれが「0原」と呼んでいた、非常にラフな線画から、一気に仕上げ（彩色）まで済んだ状態までAI変換を行い、それをレタッチすることで1枚の動画を完成させるといった方法は、やはり作業の効率化に大きく貢献するはずです。

　ツインズひなひまでは、素材画像をStable Diffusionに読み込み、またレタッチ用のアプリにエクスポートする工程がありましたが、近い将来、Photoshopやアニメ制作現場でも用いられることの多いイラスト制作ソフトに同様の機能が搭載されたり、あるいはAI変換とその後のレタッチが同じプラットフォームで行えるアプリが登場するはずです。作業者が、1つのアプリのなかで、ラフからAI変換、レタッチが行えるようになれば作業スピードと効率はかなりあがりますし、新しいことを試すなどクオリティーアップのためにできることも増えるはずです。

●ラフから一気に検査・修正工程に

――なるほど。レタッチの作業自体は、現在のアニメ制作でも動画検査（原画から中割された動画に間違いが無いかの確認と修正を行う工程）や、仕上げ検査でのTP修正（トレイスペイント修正の略。彩色された仕上げ済みの素材についてやはり塗り間違いなどが無いかの確認と修正を行う工程）で行われていますから、最終的な品質の確認と必要な修正は人の目と手で行うということですね。それにしてもかなりラフな絵から、レタッチ（検査・修正）の段階に一足飛びに移行できるのは驚きです。ただ、先ほどのお話にもあったように、動画1枚1枚の絵の前後関係が破綻しないのかは気になります。

飯塚：はい。先ほどStable Diffusionには時間（タイムライン）の概念がなく、前後の整合性・連続性を取るのは苦手とお話したのですが、最低限の要素がズレないようになるAnimateDiffというモジュールがあります。それを用いることで、ガタつきが極力出ないようにはしています。そもそも作画アニメーションでも1枚1枚の動画を見ると、結構ガタガタしているものではあるのですが。

――そうですね。ただ、それを人間が連続して見たときに「気持ちよく」感じられるかが重要です。

飯塚：そうですね。ですので、「ひなひま」では、レタッチされた連番画像をどのようなタイミングで表示させるか、必要に応じて不要なコマを間引いたりもしながらAfter Effectsでタイミングを整えています。作画アニメでは、作画に入る前と、作業中にタイムシートを用いて行う作業を、AIによる絵ができた後でやっているイメージですね。

――作画アニメでは演出担当がストップウォッチ片手にタイミングを計りながらタイムシートに各コマの配置を行ったりしているわけですが、この作業はKaKa Creationで行われたのですか？

飯塚：はい、そこは私が全部やりました（笑）。1つ前の工程のレタッチは、動画検査の経験のあるアニメーター5人（うち動画検査経験者は2人）と演出としての私の計6人で行っていました。

――そういった作画アニメの経験のあるスタッフを見つけるにあたっては、フロンティアワークスさんもサポートを行ったりはしたのでしょうか？

飯塚：基本的には弊社で人選は行いました。

黒澤：私も知り合いの制作会社にもあたってみたのですが、スケジュール的になかなか難しかったですね。

●TVアニメ後も続く進化

――この取材（4月25日実施）の前日に、YouTubeに「美麗化」を施した動画を公開されていますね。

飯塚：この美麗化には、SNS上で積極的にAIアニメの発信を続けられている852話さんにご協力を頂いています。852話さんはTikTokの立ち上げ時はまだプロジェクトに加わって頂いていなかったのですが、TVアニメの制作では、例えばLoRA（"Low-Rank Adaptation＝事前学習済みモデルのファインチューニング手法の一つ）の工程について協力をお願いしたり、CGでは恐らく1〜2カ月は掛かったであろうダム穴の生成AIでの表現をお願いしたりしています。

　生成AIが苦手とする高解像度の画像出力についても、はじめは学習蓄積の多い低解像度の画像で生成し、それを生成AIで高解像度化（アップスケール・この段階でも高精細化が図られ、追加効果の付与も可能）する工程を構築頂いたりと、かなりいろいろなところで加わって頂いています。

――YouTube動画には「AIパイプライン開発・ルックデベロップメント」とクレジットされていますね。

飯塚：TVアニメについては、弊社のAI/3DテクニカルディレクターのUltra-Noobさんが中心的な役割を果たしていますが、この動画については、エフェクトも伴いながら立体的に動く教室の背景を、生成AIでどのように実現するか、という点を852話さんにはお願いしました。

　852話さんに構築頂いたパイプライン（作業工程）をもとに、Ultra-Noobさんをはじめとした弊社のスタッフが完成まで持って行っています。ルックデベロップメントについては、この動画のカットの1枚目は全て852話さんがMidjourneyで作ってくれていて、そこから動画に展開していっています。

――TVアニメ放送後も、「ひなひま」を通じて技術の磨き込みが続いているんですね。初期のTikTok動画の段階では、3DCGモデルの制作にUnreal Engineを使っていたということですが、TVアニメではUnityに変えたとも伺っています。この理由も教えてください。

飯塚：最初、弊社のスタッフがUnreal Engineに慣れていたので、そちらを採用したのですが、Unreal Engineではその後の工程でAIが参照する「線」がきれいにうまく出てこなかったというのが大きいです。われわれの工程ではセルルックの「パキッと」した線が求められるのですが、そこが「ぐちゃぐちゃ」っとなった線が出てきてしまい、AI変換に悪影響が出ていました。そこでセルルックのような高品質な境界線を描画できるPencil+（ペンシル）を使えるUnityに切り替えたという経緯があります。

――なるほど。ライセンス料を巡る混乱もあり、Unreal Engineに移行するスタジオも少なくなかったのですが、こと「ひなひま」についてはPencil+が使えるUnity一択だったわけですね。最後に、このプロジェクトでの手応えや今後の展望について、KaKa Creationさん、フロンティアワークスさんから一言ずつお願いします。

飯塚：先ほど紹介したダム穴のような、地味だけれどもとても工数が掛かるエフェクト表現を、生成AIを用いて監督が意図したように表現することができた、というのが意外とキャラクター表現よりも実は手応えとしてはいちばん大きかったりします。

黒澤：アニメ制作にAIを用いた、ということに対してネガティブな反応がある、というのはもちろん承知しています。その上で本プロジェクトがきっかけの一つとなり、AI利用のポジティブな面、ネガティブな面それぞれについて、ぜひ世の中で議論が進むことを願っています。よく分からないから否定する、とにかくAIは悪だから拒絶するといった状況から、次の段階に進むきっかけになってほしいという気持ちです。

　多くのAIの取り組みが発表されている中、24年末からいま現在に至るまでに、世の中のAIに対する忌避感、抵抗感が徐々に薄れてきているのではないかとも感じています。また放送後にはアニメスタジオさんや企業の方からも「こういうことは可能か？」といったさまざまな問い合わせもいただくことが増えました。われわれとしては、ツインズひなひまを足掛かりに、KaKa Creationさんとの新企画の検討はもちろん、技術面での検証やさらなる改善等を続けていけたらと考えています。

――本日はありがとうございました。

　筆者はアニメ制作への3DCGの導入期である2010年代からいくつかの取材を行ってきた。その際にも読者・視聴者やクリエイターからのCGに対する忌避感、嫌悪感を感じたが、その頃とAIを巡る現在の状況はよく似ている。ツインズひなひまが1つの節目となり、今後、技術的・倫理的な課題が解決されていくことに期待したいと思う。