【速報レポート】Meta Quest 3S, Meta AI, ホログラフィック・グラス(Orion)・・・ビッグニュース満載のMeta Connect 2024！| 視聴レポート

みなさんこんにちは！
株式会社ビーライズ 企画開発部 XRプロデューサーの小笠原です。

いよいよ開催となったMeta Connect 2024。

去年も生配信に参加し、Ray-Ban Metaなどの新製品、SDK、Developer HUBなどのディベロッパ向けニュース満載の様子をお届けしました。
今回も生配信に参加し、そこで発表された内容について新製品の発表とディベロッパ向け発表について抜粋していきたいと思います。

新製品・サービスに関するアップデート

Meta Quest 3Sの発表

マーク・ザッカーバーグのkeynoteにて、ついに発表されたMeta Quest 3のエントリーモデル。
価格は4万4800円。日本時間では本日26日より予約開始、日本を含む23カ国で10月15日に販売開始になります。
Meta Quest 3と同じようにVR/MRの機能があり、ハンドトラッキング、パススルーなどを通して従来のアプリケーションも問題なくスムーズに動作します。

会場では実機でのデモンストレーションがありました。

Meta Quest 3Sでは深度センサーはついておらず、物体との距離計測はソフトウェア処理で行われるそうです。

Dolby ATMOSのサウンドシステムを導入、立体感のある音響を楽しめます。

また、Microsoftの協力によりWindowsOSとのスムーズな連携が可能になりました。マルチウィンドウでのパフォーマンスも向上したようです。

より多くの人にMixed Realityの世界観を広げるためのエントリーモデル。
価格もかなり抑えられていて、ユーザーとしてもQuestを勧め易くなりましたね！

Meta AI（Llama）の開発アップデート

去年のMeta Connect 2023においても語られていたMeta AI。
AIボイス生成により、自分とそっくりの音声を生成し、AIが自分に代わって応えてくれる。
画像生成、検索まとめ、SNS用の投稿文の自動作成など、様々な可能性を示していました。

今回はそのアップデートとして、基幹AIとしてのLlamaがLlama 3.2にアップグレード。いくつかのデモンストレーションがありました。

デモンストレーションでは、Don Allenの映像とAI音声が登場し、マークが彼の著書についての質問などを投げかけます。
質問に対して明確に答えているのはもちろん、音声と映像がリップシンクされて自然なビデオ通話のような画面が映し出されました。

Don本人も解答には納得のご様子。

Meta AIは現在テキストベースでの利用ができます。（日本を含む一部地域では利用できませんが）

またMeta AI はInstagram, WhatsApp, Messenger等で利用できるようになるそうです。（時期は未定）

Meta AIでは、対応SNSにて動画で使用されている言語を検出～他言語に「吹き替え」する機能を開発中。
先述のDon AllenのようにＡＩ音声とリップシンクで、あたかも動画の出演者本人が他言語をしゃべっているかのように見えます。

字幕ではなく、動画を吹き替えてしまう（しかも本人の声で）という点がヤバすぎます！

Meta Ray-Banグラスのアップデート

去年から発売されたMeta Ray-Banグラス。
未だに日本では入手できませんが、アップデートがどんどん進んでおり、より自然な会話が可能になるようAIが進化しました。
「Hey Meta, Look at the plant that I’m having～」など、AIに尋ねる前の呪文のように述べなければならない命令文などを用いずとも、自分が隣の友人に話すかのように語り掛けることで、AIも答えてくれる、といったものです。
まぁ当然英語なんですけど(笑)

この画像では、グラスをかけた人がAIに話しかけ「駐車した場所を覚えてて」といいます。
するとグラスはこれを記憶し、リマインドしてくれます。
画像認識だけでなく、記憶までしてくれるようになったんですね。

Ray-Banグラスをお互いにかけた状態で、普通に話しているように見えますが
マークは英語で、となりのマッチョなタフガイはBrandon Morenoというメキシコの総合格闘家で、スペイン語で話しています。

なんとRay-Ban Meta、ライブ翻訳を実現しました。

デモンストレーションでは2～3秒ほどアウトプットまでにラグがありますが、通訳を通して喋っていると思えば我慢できるタイムラグ。
どんどん進化していってますね・・・。
Meta AIとそれを支える大規模言語モデルのLlama3.2、これらのアウトプット先としてRay-Ban Metaは理想のプラットフォームでしょう。
マークもスマートグラスは今最先端のコンピューティング・プラットフォームであると述べ、今後もフィードバックを基に開発を勢力的に進めていくそうです。

フルホログラフィックのスマートグラス「Orion」の製品発表

今回の発表でもう一つ重要なプロジェクトがあります。
10年ほど前からMetaの理想として語られていたプロジェクトがついに具現化。一般向けに販売できるように準備を進めているという発表がありました。

その名もOrion
日本語ではオリオン。オリオン座の名を関するプロジェクトです。

本体は100グラムほど。使用するためにケーブルを介して充電したり、スマホに接続する必要もありません。
アイトラッキング、ハンドトラッキングが可能で、自分の現実空間にホログラムが映し出される、まさにSFのようなグラス。 
これらの画像は実際にOrionで投影される2Dスクリーン、GUI等です。
ただ2Dを投影できるだけではなく、3Dオブジェクトを空間に固定し、インタラクティブな操作も可能です。
マークは、あらたなインタラクティブな操作方法としてニューラルインターフェースを採用していることを発表しました。
リストバンドを装着し、最小限の動きでグラス上の操作を可能にすることが可能になります。
このプロジェクト自体も2021年ごろに試作品の発表があった後に表立った発表はありませんでしたが、このグラスに搭載されたんですね。

まさにMeta Reality Labで研究され続けてきた技術の集大成が一気に発表されました。
ハードウェアでいうとMeta Quest 3Sは販売されることが決定しており、Ray-Ban Metaのアップデートも順次行われ、Orionは製品化に向けて準備が進んでいる。

そんなところでしょうか。
またこれらを支える強力なエンジンとしてのAIの開発も同時に進んでおり、Metaが目指すMetaverseと、次世代の「コンピューティング・コネクション」を創るという方向へと着実に進んでいっているのをひしひしと感じます。

個人的には、Ray-Ban Metaに実装されるMeta AIの性能とOrionの製品化がMeta Connectで聞けたのがうれしいです。

ディベロッパ向け公開情報

既に開発を進めているディベロッパ向け、これから参入しようと考えているディベロッパ、クリエイター向けに様々な形でサポートを試みるMeta。
去年ではQuest 3の発表もあり、Mixed Realityの開発をサポートするAPIやSDK、Developer HUBなどの支援ツールのリリースと紹介がされました。
もちろん今回のコネクトでも、去年より集積された大量のフィードバックを基にアップグレードした内容など、様々な情報が一気に公開されましたが、この記事では去年にはなかった新着情報を抜粋してみました。

Meta Horizon OS のアップデート

そもそもMeta Horizon OSとは、複合現実空間を可能にするMeta QuestシリーズのOSのことを指します。
2024年4月にMetaはこれをサードパーティーのハードウェアメーカーに解放することを宣言しました。
そして今回の発表で、Horizon OSの開発をさらに円滑にするためのアップデートが発表されました。

Horizon OSにモバイルアプリやウェブブラウザを移植できる

既にリリース済みのアプリケーションであったり、新しく作る際にもHrizon OSはモバイルアプリ、ブラウザを開発しているツールや言語で開発が可能になり、Hroizon OSつまりQuestシリーズでプレイできるようになります。

ウェブブラウザ（Spotify）を開いた状態でMRアプリもできちゃいます。

他にも、UnityやUnrealでのパフォーマンス向上など、様々なアップデートがなされ、開発環境もより新規参入しやすいように画策している様子でした。

Llama 3.2 での開発をサポートさせるアイテム

Llama 3.2 がマルチモーダルかつ軽量なLLMとしてリリースされました。
3.1よりもパフォーマンスの向上はもちろんのこと、より使いやすいようにオープンソースとして開放していくそうです。

軽量化したモデル

小規模および中規模のビジョン LLM (11B および 90B) と、エッジ デバイスやモバイル デバイスに適合する軽量のテキストのみのモデル (1B および 3B) が含まれており、事前トレーニング済みバージョンや命令調整済みバージョンも含まれています。

安全保護対策

Llama Guard, Gurad Vision, Prompt Guardなどの安全保護対策が標準搭載され、より安全に使用できるようになりました。

Llama Stack APIs

Llama モデルをカスタマイズし、エージェント アプリケーションを構築するための標準的なツールチェーン コンポーネント (微調整、合成データ生成) の標準化されたインターフェイスであるLlama Stack APIが公開されました。

まとめ

Meta Connect 2024は、Metaの進化を実感できる興奮に満ちたイベントとなりました。今年も、MetaはXR領域のリーダーとしてその進化を力強く示しており、特にMeta Quest 3SやOrionスマートグラス、Meta Ray-Banグラスの新機能は、日常により自然なデジタル体験をもたらす可能性を広げようとしています。
また、Meta AIの進化も見逃せません。Llama 3.2の登場により、AI技術はさらなる精度と汎用性が生まれ、日常のコミュニケーションやクリエイティブな作業を支えるだけでなく、SNSや動画プラットフォームでの活用が期待されています。特に、AIが音声や映像を自然に生成し、他言語対応や吹き替え機能までサポートする点は、国境を越えたコミュニケーションの未来を大きく変えることでしょう。

Metaは、未来の「コンピューティング・コネクション」を創造するために、技術の限界に挑戦し続けています。これからもさらなるイノベーションが期待され、我々ユーザーとしても、より豊かで多様な体験が待っていることにワクワクが止まりません！

以上、Meta Connect 2024のレポートでした！

---

弊社はMetaプレミアパートナーとして、Meta QuestをはじめとするMeta製品の販売はもちろん、Meta製品を活用したVR/MRプロダクトの企画・開発ワンストップでおこなっております。

Meta製品の購入や、VR/MRプロダクトの開発に関するご相談は、お気軽にこちらからお問い合わせください。