生成AIとApple Vision Proで描く新たな世界への旅

2025/1/9

by GENAI-XRチーム（吉見 隆洋、藤坂 繁保、三神 純平、曽我 光厳、加藤 直也、永井 康章[執筆]） 

「行きたい所を言った瞬間にワープできるとしたら？」という夢を実現するために、チームが立ち上がりました。DXCテクノロジー・ジャパンの生成AIに特化したエンジニア・チーム（通称「Powered by GenAIチーム」）と、VR技術に強みを持つエンジニア・チームが（通称「XRチーム」）タッグを組んで「GENAI-XRチーム」として取り組んだ検証プロジェクトです。

「Appleの革新的な空間コンピューティングデバイスであるApple Vision Proを、どのようにお客様のビジネスに活かすことができるのか」ー今回の取り組みは、そのヒントを探ることを目的としています。新技術の活用方法を探り、現場での実用性を検証して、未来のサービスを切り開くこと！を目指しました。

バーチャルとリアルの境界を曖昧にし、利用者に全く新しい体験を提供することをGENAI-XRチームは目指しています。単なる技術的な挑戦だけではなく、未来の事業の在り方を再定義するための冒険です。

はじめるにあたって考えたこと

• Powered by GenAIチームとXRチームが、がっつりタッグを組んで、新しい何かに取り組みたい。
  
• Apple Vision ProとXRと生成AIという新技術を、お客様のビジネスで活かすためのヒントを得たい。

アイデアの原点

「生成AIで生成した360度画像をVRで体験できたら面白いよね」ーGENAI-XRチームは、ブレインストーミングで出されたアイデアを、その日の内に具体化し、実装方針と担当者を決めました。

アイデアの原点：インスピレーションの火種

プロジェクトの発端は、ある晴れた日のブレインストーミング・セッションでした。メンバーの一人が「生成AIで生成した360度画像をVRで体験できたら面白いよね」と冗談交じりに言ったその一言が、きっかけとなり、GENAI-XRチームの想像力と技術的な探求心に火が付きました。

その日のうちに、GENAI-XRチームはこのアイデアをさらに具体化し、プロジェクトを始めました。目標はシンプルかつ挑戦的で、生成AIを利用して360度の風景画像を作成し、それをApple Vision Proでリアルタイムに表示すること。まるで別の場所にワープしたかのような体験を利用者に提供することを目指しました。

開発の旅路：試行錯誤と学び

第一章：音声認識の壁

まず取り組んだのは、利用者が行きたい場所をApple Vision Proに話しかけ、正確にテキストに変換することでした。音声認識の技術はすでに成熟していると思っていましたが、実際には環境音や利用者の発音によって認識精度がばらつきました。特に「富士山の頂上」といった具体的な地名が「富士山のふもと」や「フ〇テレビ」と誤認識されることもあり、最初の大きな壁となりました。

GENAI-XRチームは、音声認識の精度を向上させるために、様々な手法を試しました。最終的にSiriの音声認識の機能を採用することで、認識精度を改善しました。

第二章：生成AIとの格闘

次は、生成AIを使って360度画像を生成するステップです。画像を生成するAIモデルであるDALL-Eを利用して「富士山の頂上からの360度画像」を生成しようとしたところ、富士山そのものが写り込んだり、奇妙に歪んだ画像ができたりと、何度も失敗を繰り返しました。

プロンプトが、普段にも増して極めて重要でした。「Equirectangular 360-degree panoramic photo with seamlessly connected left and right edges」といった専門的な用語を駆使しても、生成される画像には不自然なつなぎ目があり、期待した結果には残念ながら程遠いものでした。

画像生成の失敗例

苦闘の末の突破口：プロンプトの魔法

試行錯誤の末、「正距円筒図法」と「VR」といったキーワードをプロンプトに追加することで、より自然な360度画像を生成することができました。霧が晴れた瞬間のような発見でした。生成AIによる画像が、ようやくGENAI-XRチームの求める品質に近づいてきました。

GENAI-XRチームは、プロンプトの影響を踏まえて生成AIの限界を理解し、どのようにして潜在能力を最大限に引き出すか、を深掘りしました。生成AIがより精密でリアルな画像を生成できるようになり、大きくゴールに近づきました。

最終章：VR体験の実現

生成された画像をVRでどのように表示するか、も、挑戦でした。画像をメルカトル図法のように加工し、左右がシームレスにつながるようにする必要がありました。何度も失敗を繰り返しましたが、最終的には、UnrealEngineを使って画像を天球に貼り付けることで、自然な風景を再現することに成功しました。

プロジェクトの最後の段階では、生成された360度画像をVR環境でどのように表示するかに焦点を当てました。UnrealEngineを駆使し、画像を正確に天球にマッピングすることで、利用者が没入感を感じられるようにしました。

結果と次のステップ：未来への道筋

GENAI-XRチームは生成AIとVR技術の新しい可能性を感じています。利用者は、まるでその場所にいるかのように、360度の視界を楽しめます。この技術を、旅行や教育、リハビリテーションなど、さまざまな分野に応用できると考えています。

今後は、音声認識の精度向上や、より高解像度の画像生成を目指して開発を続けていきます。また、ユーザーインターフェースの改善や、より自然な体験を提供するための技術的な工夫も検討の余地があると考えています。GENAI-XRチームの冒険はまだ始まったばかりです。新しい世界への旅に、ぜひご期待ください。

結び：挑戦は続く

この取り組みは、技術の限界を押し広げるだけでなく、GENAI-XRチームメンバー各々の成長にもつながりました。試行錯誤を繰り返し、多くの失敗から学びました。こうした試みはGENAI-XRチームだけでなくDXCテクノロジー・ジャパンの使命でもあります。

この記事が、生成AIとVR技術の融合による新たな体験の魅力を少しでもお伝えできれば幸いです。今後のDXCテクノロジー・ジャパン・GENAI-XRチームの挑戦にもご注目ください。

Apple、Apple Vision Pro、Siriは、米国およびその他の国で登録されたApple Inc.の商標です。