米Metaは4月18日（現地時間）、オープンソースのLLMの最新版「Llama 3」を発表した。80億パラメータと700億パラメータの2モデルで、いずれもほぼすべての主要クラウドサービス（AWS、Databricks、Google Cloud、Hugging Face、Kaggle、IBM WatsonX、Microsoft Azure、NVIDIA NIM、Snowflake）で間もなく利用可能になる。
昨年リリースの先代「Llama 2」にも700億パラメータモデルはあったが、Llama 3は4000億パラメータの高密度モデル（こちらはまだ公開されていない）のトレーニングも継続中だとマーク・ザッカーバーグCEOは語った。
トレーニングデータセットは、Llama 2よりも7倍大きく、4倍のコードが含まれている。英語以外での利用に備えるため、データセットの5％以上が非英語データで構成されている。データは「公開されているソースから収集された15兆以上のトークン」でトレーニングしたという。
また、トレーニング後の手順の改善により、誤った拒否率（特に問題のない質問でも問題があると判断して回答を拒否する率）が大幅に減り、モデルの応答の多様性が増加したとしている。さらに、推論、コード生成、命令などの機能が大幅に向上したという。
|
|
|
|
Metaによると、Llama 3 8B（80億モデル）は、MMLU、ARC、DROP、GPQAの少なくとも9つのベンチマークで、仏MistralのMistral 7Bや米GoogleのGemma 7Bなどの他のオープンモデルを上回るという。70Bモデルは、GoogleのGemini 1.5 ProとAnthropicのClaude 3よりも一部のベンチマークでハイスコアだったという。
Metaは同日、Llama 3で構築したAIアシスタント「Meta AI」をInstagramなど同社のサービスでロールアウトした（日本はまだ）。
また、将来的にはAMD、AWS、Dell、Intel、NVIDIA、Qualcommが提供するハードウェアプラットフォームでも利用可能になる見込みだ。
Metaは「Llama 3を多言語かつマルチモーダルにし、より長いコンテキストをもたせ、推論やコーディングなどの機能全体のパフォーマンスを向上捺せ続けることが目標だ」と語った。
|
|
|
|
関連ニュース
|
|
|
|
Copyright(C) 2024 ITmedia Inc. All rights reserved. 記事・写真の無断転載を禁じます。
掲載情報の著作権は提供元企業に帰属します。
IT・インターネット
ランキング
IT・インターネット
アクセス数ランキング
- 1
コンビニでフェス開催? POP注目（写真：Jタウンネット）23
話題数ランキング
- 1
始球式ユニを川に、動画批判殺到（写真：まいどなニュース）72
