背景 Preferred Networksでは国立研究開発法人情報通信研究機構（以下: NICT）と共同で大規模言語モデルの開発を現在行っています。この取り組みの中で、日本の文化や社会等に留意した高品質かつ大量の学習デー … 続きを読む 大規模言語モデルの次期バージョン PLaMo 3 シリーズにおける8B, 31Bの小規模モデルによる事前学習の検証