Chat with RTX触ってみた

Chat with RTXとは?

NVIDIAがリリースしたローカル環境で動作するAIチャットボットです。以下の文はNVIDIA公式サイトの説明を和訳したものとなっています。

Chat with RTXは、ドキュメント、メモ、ビデオ、その他のデータを接続して、GPTをベースにした大規模言語モデルをカスタマイズできるデモアプリケーションです。検索拡張生成（RAG）、TensorRT-LLM、そしてRTXアクセラレーションを駆使し、文脈に即した適切な回答を素早く提供することが可能なカスタムチャットボットを利用することができます。全ての処理はローカルのWindows RTX PCやワークステーション上で行われるため、迅速かつ安全に結果を得られます。

text, pdf, doc/docx, xmlなど様々なファイル形式をサポートしており、ファイルが含まれているフォルダをアプリに指定するだけで、数秒でライブラリにファイルを読み込むことができます。さらに、YouTubeプレイリストのURLを提供すると、アプリはプレイリスト内のビデオのトランスクリプションを読み込み、カバーしているコンテンツに対するクエリを可能にします。

Chat with RTXが使用しているモデルはLlaMa 2 13BとMistral 7Bです。そのため自身でmodelの追加等の諸々を行わないと、しっかりとした日本語対応はできなさそうです。

システム要件

RTX3000番台もしくは4000番台の場合、16GBのメモリ(RAM)があれば動作するため、比較的動かしやすいと感じます。

動かしてみた

動作環境は、GPUがRTX4090で、メモリが128GBです。

公式サイトから35GBほどある重めのファイルをダウンロードして、セットアップをします。エラーが発生しつつも、無事起動することができました。

1. 起動をすると以下のような画面が開かれます。AIモデルと、Datasetをどうするかを選択することができます。Datasetは何も外部のデータを取り込まないデフォルトのものと、YouTube上の動画を使うもの(使用するのは動画のトランスクリプション)、ローカルのファイルを使うものの3種類から選択することができます。
   

2. 試しに何も外部データを使用しない状態で、日本の首都とfizz buzzのコードを書いてもらいました。いい感じに動作しています。一応、日本語も試してみましたが、やはり正常に動作しませんでした。
   

3. OpenAI DevDayのOpening Keynoteの動画を読み込んで説明してもらいました。何回か試していて、↓の画像は上手くいった例なのですが結構失敗してあまり関係がなかったり、明らかに違うことを話されたりといったことが何度かありました。
   

4. ローカルのテキストファイルに弊社のマスコットキャラクターである"らいよんチャン"の説明を書いたテキストファイルを置いてみて、質問をした結果きちんと返ってきました。ただし、参照しているファイルは間違えています。回答は正常なので表記だけが間違えているのだと思います。
   

5. docxファイルも可能だということだったので、呪術廻戦の簡単な説明を書いたdocxでも実験しましたが、きちんと回答が返ってきました。ただ、やはり参照ファイルは間違えています。
   

所感

ローカルで動かす都合上、LLMの性能はどうしてもそこまでだなと感じてしまいます。一方でローカルの環境に気軽にRAGを備えたチャットボットを構築できるのは良いと感じました。ドキュメント管理や個人の学習ツールとしての活用など、多岐にわたる用途での実用性が期待できます。加えて、プライバシーの観点からデータをローカル環境に保持することも1つの利点であると思います。