欧州の研究機関や企業コンソーシアムは、英語中心のAI開発に対応し、欧州の言語多様性を反映したAIの実現を目指し、EU公用語24言語すべてとその他11言語をサポートする大規模言語モデル（LLM）「EuroLLM」を開発し、オープンソースとして公開した。
ユーロルム.io
https://eurollm.io/
◆EuroLLMがサポートする24のEU公用語
・ブルガリア語
・クロアチア語
・チェコ語
・デンマーク語
・オランダ語
・英語
・エストニア人
・フィンランド語
・フランス語
・ドイツ語
・ギリシャ語
・ハンガリー人
・アイリッシュ
・イタリアン
・ラトビア語
・リトアニア語
・マルタ語
・研磨
・ポルトガル語
・ルーマニア人
・スロバキア語
・スロベニア語
・スペイン語
・スウェーデン語
◆EuroLLMでは他11言語をサポート
・アラビア語
・カタルーニャ語
・中国語
・ガリシア語
・ヒンディー語
・日本語
・韓国語
・ノルウェー語
・ロシア
・トルコ語
・ウクライナ人
EuroHPC の成功事例: EuroLLM と自由に話す – EuroHPC JU
https://www.eurohpc-ju.europa.eu/eurohpc-success-story-speaking-freely-eurollm_en
このプロジェクトには以下が含まれますアンバベル、リスボン工科大学、エディンバラ大学、パリ大学サクレー校ヨーロッパ全土から著名な研究機関や企業が参加しています。
開発チームは「ほとんどのLLMは英語中心で、英語圏の文化を反映する傾向がある。ヨーロッパのすべての言語で同等にパフォーマンスを発揮するモデルを目指した」としている。
開発上の大きな課題は、ギリシャ語テキストが英語の 5 ～ 6 倍のトークンを消費し、使用コストが不平等になることでした。私たちは、トレーニング データに含まれる英語の割合を 50% に保ち、十分なデータを他の言語に割り当てることで、この問題を解決しようとしています。この学習システムには、ユーロHPCのスーパーコンピューターマーレノストラム 5』が使われていました。
ハッカーニュースコミュニティでは「欧州の納税者が資金を投入する研究モデルとして重要」「言語の多様性を守るための素晴らしい取り組み」など肯定的な意見がある一方、「既存の商用モデルと比べて性能面でどの程度の競争力があるのか」など現実的な問題を指摘する声もある。ライフアーキテクト.aiによると、さまざまな分野のタスクにおける言語モデルの性能を評価するためのベンチマーク指標であるMMLU値は52.5で、同クラスの他のモデルと比べて約10ポイント低い結果となった。
現在、パラメータ1.7Bと9BのEuroLLMモデルがリリースされており、将来的にはさらに高性能な22Bモデルや映像と音声を扱うマルチモーダルモデルもリリースされる予定だ。
EuroLLM-9B・ハグフェイス
https://huggingface.co/utter-project/EuroLLM-9B
実際にEuroLLMを試してみます。窓LMスタジオでモデルをダウンロードします。
「Good Morning を 24 か国語でどのように翻訳しますか?」と英語で簡単な質問をしたところ、それぞれの言語に翻訳された回答が得られました。
他の11言語についても質問し、回答を得ました。
次に、寿司について同じ質問を日本語でしました。 「日本語：サシ」などの間違いもあり、十分な回答にはなりませんでしたが、EUでも寿司が認められていることがわかりました。
開発チームは「欧州でのイノベーションを加速することが目標だ」としている。私たちは、このヨーロッパ製 LLM を使用し、その上に何か新しいものを構築する機会をすべての人に提供したいと考えています。将来的には、テキストだけでなく画像や音声もサポートする、より包括的なモデルの開発を続けていきます。」
この記事のタイトルとURLをコピーします
