Clik here to view.
拡散モデルによる金融時系列生成
本記事は2023年度PFN夏季インターンシップで勤務された仲吉朝洋さんによる寄稿です。 はじめに こんにちは！PFNの2023年夏季インターンシップに参加させていただいた東京大学修士1年の仲吉です。大学院ではオンラインアルゴリズムについて研究しています。 今回のインターンシップでは、拡散モデルによる金融時系列生成について取り組んでいました。 背景...
View ArticleClik here to view.
指示学習済み大規模言語モデル PLaMo-13B-Instruct を公開しました
指示学習（instruction tuning）を行った大規模言語モデル「PLaMo-13B-Instruct」と「PLaMo-13B-Instruct-NC」を公開しました。上記の huggingface のリポジトリから試すことができます。本ブログでは、これらのモデルの出力例やモデルの学習設定、評価結果や今後の課題について紹介します。 概要 PLaMo-13B-Instruct...
View ArticleClik here to view.
検索付き LLM 手法 REPLUG の再現実験
本記事は、2023年夏季インターンシッププログラムで勤務された佐々木司温さんによる寄稿です。 目次 概要 背景 先行研究 再現実験 考察&改善案 まとめ おわりに 参考文献 概要 今回のインターンでは、LLM関連の技術領域であるRetrieval Augmented Generation(RAG)について、REPLUG(-LSR)[1]という手法の再現に取り組みました。...
View ArticleClik here to view.
FUSE 向け汎用 CSI ドライバ meta-fuse-csi-plugin
本記事は、PFNのインターンシップを経て現在はアルバイトとして勤務されている松本直樹さんによる寄稿です。 はじめに 京都大学情報学研究科D1の松本直樹です。インターンでは、「キャッシュを利⽤した機械学習・深層学習ワークロードの加速」のテーマで PFN が運用するオブジェクトストレージや分散キャッシュシステムの利便性向上に取り組みました。このブログでは、今年のインターンシップで開発した、あらゆる...
View ArticleClik here to view.
Clik here to view.
中間表現を用いた言語モデルの知識蒸留
本記事は、2023年度PFN夏季インターンシップで勤務された稲葉達郎さんによる寄稿です。 こんにちは，2023年の PFN 夏季インターンシップに参加した京都大学修士1年の稲葉達郎です．大学では自動音楽生成や自然言語処理に関する研究をしています．...
View Article2023年 PFN夏季インターンシップの選考課題公開
(2023/12/14 追記) 一部の課題について、公開を停止することとしました。現在のリポジトリで公開されていない課題につきましては、他者と内容を共有しないようお願いいたします。ご迷惑をお掛けしますことを深くお詫び申し上げます。 Preferred Networks 2023 夏季インターンシップで用いた選考課題を GitHub 上で公開しました。...
View ArticleClik here to view.
MN-Coreランタイム – MN-Coreを動かすソフトウェア
MN-Coreランタイムとは何か MN-Coreコンパイラチームの河田 旺です。このブログではMN-Coreソフトウェアスタックの中のランタイム部分について紹介します。なお、本稿では単に「MN-Core」と書いた場合はMN-Core 1、MN-Core 2を含むMN-Coreシリーズを指します。...
View ArticleClik here to view.
OSSによるプリント基板静電流シミュレーション
本記事は、2023年に勤務された村瀬秀太さんによる寄稿です。 はじめに はじめまして、京都大学 M1 の村瀬秀太です。普段は集積回路系の研究室でデバイスモデリングなどの研究をしています。ここではPFNでの業務経験について簡単に紹介します。 背景 皆さん大好きMN-CoreはPreferred...
View ArticleClik here to view.
MN-Core におけるテンソルのメモリ配置レイアウト表現
深層学習の計算は、テンソルと呼ばれる多次元配列で記述されています。MN-Core では、ツリー状の通信路で繋がった大量の演算器が並列に動作しますが、配列に対する計算をツリー状に並んだ演算器にどう割り当てると効率的かというのは自明な問題ではありません。この記事では、この問題を記述するために MN-Core コンパイラチームが用いている TensorLayout という記法を紹介します。...
View Article