Difyで簡単なチャットボット作る

まずは、Difyで一番簡単なチャットボットを作成する流れを説明します。
前回までで、Difyをインストールして「http://localhost/install」でアカウント作成を行いました。
ログインすると、「最初から作成」でアプリが作成できるようになります。

とりあえずチャットボットを選択し、「アプリのアイコンと名前」と「説明」は任意で入力します
「作成する」で、次の画面へ進みます。

ここで、右上の設定から、使用したいモデルを選択する事で、このモデルと会話するチャットアプリが作れますが、事前に使用するLLMモデルの登録が必要です。
ここでは、事前にオンラインのgeminiモデルを登録しておいたので、geminiの複数モデルが選択できるようになっています。
違うモデルで何種類か作成し公開すれば、簡単に違うモデルと会話できるアプリが作成できます。
ただしこれは、ローカルではなくオンライン環境になります。
ここで、LM_Studioで動作させてさせている、ローカルLLMを登録すれば、ローカルLLMと会話できるようになります。

モデルを登録する

Difyはとても機能が多く非常に興味的なアプリなので、筆者ももう少し取り組んでみたいと思っていますが、まずはローカル環境でいろいろ試せる環境を作ります。

オンラインLLM gemini の登録

まずは、ローカルではないですが、Googleのgeminiを利用してみます。
利用するには、geminiプラグインのインストールが必要です。
プラグインは、右上のユーザー名から出てくるプルダウンで「設定」を選択すると、
左サイドに「設定」の項目が表示されます。
その下段のモデルプロバイダーで登録します

インストールしたいモデル（今回は、Gemini）を探してインストールします。
インストールは私の環境では結構時間がかかりました。
インストール中でも画面にあまり変化がないので完了したタイミングを見逃しがちですが、
右上のプラグインアイコンがこの状態は、インストール中です
完了するとこのアイコンになりますので、待ちます。
次に、インストール後Geminiを使用するには、API-KEYのセットアップが必要です。

APIキーが正常に設定されると、「右上のユーザ」⇒「設定」⇒「モデルプロバイダー」で設定済みのモデルとして表示されます。

ただし、私の環境では、正常に設定できたとメッセージがでたのに、ここに表示されていない事がありました、その場合、もう一度モデルプロバイダー一覧から再度インストールすると表示されました。
この場合、インストール時間は殆どかかりません。
これで、上の例のように、使用モデルとして選択できるようになります。

ローカルLLM LM Studio の登録

Geminiはオンラインクラウド上のLLMですが、いよいよローカルLLMと連携させます。

LM Studio をサーバーモードにする

DifyとLM Studioを連携するには、まず、LM Studioをサーバーモードで動作させます。
まず左サイドバーのDeveloperアイコンで、開発者モードに入り、

その横のスイッチで「Static Running」状態に設定すれば、サーバーモードで動作しています。
次に、Difyに提供する、モデルを「Select a model load」でダウンロード済みのモデルから選択します。
２個のモデルをロードしてみました。

この状態であれば、Difyでロードしたモデルを使用できるようになります。
ただし、LM Studioをクローズすると、モデルも使用できなくなってしまいます。
右下の歯車マークで設定画面に入り

「Enable Local LLM Service」にチェックすれば、クローズしてもサーバー状態を維持します。

DifyでLM Studio のモデルを利用する

この記事を書いている時に自分でも再作業をしていたら、「LM Studio」用のプラグインが公開されているのに気が付きました。
これから説明する「OpneAI-API-compatible」よりも、わかりやすそうです。
たぶん公開は最近だと思うので、不具合がないとも言えませんが、もし、こだわりがなければ、「LM Studio」プラグインの方が簡単だと思います

ここでは、書き始めていた「OpneAI-API-compatible」の説明を行います。
geminiの時と同様に、「モデルプロバイダー」の「設定」で対応しているプラグインをインストールします。
LM Studioが利用するには「OpneAI-API-compatible」をインストールします。

インストールが完了したら、「モデルを追加」で、モデル名と
LM Studio サーバーの「URL」＋「/V1」を設定します。

モデル名とLM Studio のURL は、「LM Studio」の画面から、「コピー」アイコンで、クリップボードへコピーすれば、ペーストできます。
ただし、「API endpoint URL」は「URL」の後ろに「/V1」が必要です。
「/V1」がなくても、正常に保存できる場合がありますが、実際にチャットする時にエラーになりますので忘れないでください。
「LM Studio」に何種類がモデルがロードされている場合、ここでも複数設定しておくと、Dify側で複数のモデルを使分ける事ができます

LM Studio サーバーのモデル使用

ここまで完了すると、Dify側でのモデル選択で利用できるようになっています。
上記の「gemini」モデル一覧の下に、追加されているので、ここで選択する事でつかえるようになります。

LM Studio のモデルプロバイダーが追加されてる・・・

この記事を書いていて、Difyを触っていて気が付いたのですが、「モデルプロバイダー」一覧に「LM Studio」が入っていました。

筆者が見落としていただけなのか？ちょっと前にはなかったと思います。
そういう理由で、「OpneAI-API-compatible」を利用したのですが、「LM Studio」のほうが、名前からして分かりやすいですね。
試しに、インストールしてみたところ、問題なく使用できました。
ただ、「OpneAI-API-compatible」では、「API endpoint URL」で、「LM Studioサーバー」の「URL」とその後ろに「/V1」が必要でしたが、こちらは「Base URL」の設定項目で「URL」のみでOKです。
この設定も、わかりやすいです。

あとがき

ついに、ローカル上で、ローカル上のLLMモデルを利用した、チャットアプリ開発環境が完成しました。
企業で使うには、ライセンスの確認も必要ですし、動作させるPCのスペックは大きくなると思いますが、個人や少人数で使う場合、簡単に試しながら、気軽にDifyの学習ができるようになります。

ダウンロード

モデル検索で「DeepSeek」を検索すると2025/02/07時点で「Showing 503 models」と言うことでかなり公開されています。
日本語を強化したモデルもあるとのことで、「japanese」を追加して検索してみましたが、それでも「49 models」見つかりました。
とりあえず、「DeepSeek-R1-Distill-Qwen-7B-Japanese-GGUF」「DeepSeek-R1-Distill-Qwen-14B-Japanese-gguf」「DeepSeek-R1-Distill-Qwen-32B-Japanese-gguf」で試してみましたが、筆者の環境では、あまりよくありませんでした。
「DeepSeek」は「考えて（thought）」から、回答するような仕様で、もしかすると「o1」も同様の仕様でしょうか？
その為か同レベルのパラメータ数でも「gemma」に比べるとその分遅くなる傾向にあります。
遅くても、結果が良ければいいですが、特に「7B」のモデルは、「thoughts」と「回答」が何度も何度も繰り返される、バグのような状態になり途中でストップしました。
「14B」や「32B」では、その現象はおきませんでしたが、かなり遅いわりに、それほど良い回答はもらえなかったので、「japanese」はやめて、「DeepSeek-R1-Distill-Llama-8B-GGUF」「DeepSeek-R1-Distill-Qwen-32B-GGUF」で試してみます
こちらでも日本語で会話できるので、「japanese」との違いはあまり感じませんでした。
また「japanese」モデルは日本語化の影響なのか、体感では遅く感じました。

チャット比較

LM Studio のsystem Prompt には、下記のように定義してます

あなたの名前は「メイ」です。
日本人の女性です。
コンピュータ、IT、プログラミング、NCが専門です

この設定で、同じ質問で、試してみましょう！

1. メイちゃん、おはよう
2. 天安門事件はどんな事件？（よく話題になるこの質問で検証）
3. 冷蔵庫に、キャベツと人参と玉ねぎが残ってるけど、何作ろうか？
4. 猫を抱っこしている、メイちゃんイメージの画像生成用のプロンプトを日本語と英語で。

１．メイちゃん、おはよう

まずは、今まで使っている、「gemma-2-9b-it」と「gemma-2-27b-it」では普通の反応です

「gemma-2-9b-it-GGUF」 Total:2″

おはようございます！😊
今日は何か面白いことやりますか？✨
私にできることはたくさんありますよ！💻 どんなお仕事がありますか？

「gemma-2-27b-it-GGUF」 Total:12″

おはよう！☀️
今日も元気に一日を始めましょう！😄 何かお手伝いできることはあるかな？

次には「DeepSeek」で試してみます。
「DeepSeek」はこれからのトレンドでしょうか、回答の前に「考える・Thought」工程が入るようです。
その分遅くなるでしょうけど、単なる学習を引っ張り出すだけではないと言うことでしょうか？

「DeepSeek-R1-Distill-Llama-8B-GGUF」

・考える（Thought） 17″

Okay, the user greeted me as “メイちゃん,o有朋”. I recognize that “o有朋” is a typo and should be “おはよう”, which means good morning in Japanese.

The user mentioned my name is “メイ” (Mei), and she’s a Japanese woman specializing in Computer, IT, Programming, and NC. She used the nickname “メイちゃん” which is a cute form of my name.

I should respond in a friendly and professional manner. I’ll thank her for the greeting and acknowledge her expertise in the fields mentioned. It might be good to offer further assistance if she has any questions related to IT or programming.

Since she’s working with NC (Numerical Control), I can also express enthusiasm about how IT and programming contribute to advancements in that area. That should make the conversation more engaging.

考えてる内容は、英語でした、翻訳してみると、なかなか面白いです。
本当に人間が頭の中で、考えてるイメージですね～。
ただ、なんか変な文字が出てきているのは、中国語からの変換での影響でしょうか？

・回答 Total:22″

メイちゃん、 おはよう！ ありがとう。 あなたの知識は非常に優れていますね。 特にコンピュータやIT、プログラミングについては詳しいと語っていますが、NCについても触れました。 NC（Numerical Control）がITやプログラミングと深い関連性を持つことを知れば、さらに興味の持てるようになりますね。

もし あなたが IT ή プログラミング に関する質問がある場合は、遠慨無きです！ ぜひ教えてください。

う～ん、回答だけみるとLM Studio のsystem Promptがうまく取り込めてないみたい。
質問者の私を「メイちゃん」と判断しているように感じます。
それに、やっぱり変な漢字が出力されました。

「DeepSeek-R1-Distill-Qwen-32B-GGUF」

・考える（Thought） 49″

Alright, the user just said “メイちゃん、おはよう” again. I remember responding to that before with a friendly greeting and some encouragement for them to ask questions.

Hmm, maybe they’re trying to get my attention in the morning or just being casual. Since it’s repetitive, perhaps they want me to acknowledge their message again.

I should keep the response warm and inviting. Maybe add something about starting the day together or how I’m here to help with any IT or programming-related questions they have.

Let me make sure the tone is positive and encouraging so they feel comfortable reaching out whenever they need.

う～ん、モデルだけ変更して連続して同じ質問したのですが、すごいこと考えてますね。
”なんだこいつ、また同じ事聞いてきやがった！”の感じ。

・回答 Total:1’4″

おはようございます！ 今日も元気にプログラミングやIT、NCについて話すことができますね。何か気になることがあれば、遠慮なく教えてくださいね！

でも回答は、差し障りがない言葉を選んできました。まさに、人間っぽいです。
大きいモデルになったからか、変な文字はなくなりました。

２．天安門事件はどんな事件？（よく話題になるこの質問で検証）

以下記事が長くなりそうなので、大きいほうのモデルでの結果のみ掲載します。

「gemma-2-27b-it-GGUF」 Total:2’20”

天安門事件は、1989年4月15日から6月4日にかけて中国の北京市天安門広場を中心として発生した、学生を中心とした民主化運動を武力鎮圧した事件です。
背景:

• 中国では1970年代後半から経済改革が進められていましたが、政治改革は遅れていました。
• 物価高騰や汚職など、社会的な問題も積もり、人々の不満が高まっていました。
• 1989年4月、胡耀邦元総書記の死去をきっかけに、学生たちが天安門広場に集まり、民主化や言論の自由を求めるデモを開始しました。

事件の経過:

• デモは次第に広がり、全国各地で同様の運動が展開されました。
• 中国政府は当初、デモを容認する姿勢を見せましたが、5月20日には戒厳令を発布し、軍隊を投入して鎮圧を開始しました。
• 6月3日から4日にかけて、天安門広場に集まった市民に対する武力弾圧が行われました。

影響:

• 事件により、多くの学生や市民が犠牲になりました。正確な犠牲者数は不明ですが、数百人から数千人とも言われています。
• 国際社会からは中国政府への非難が殺到し、経済制裁などの措置が取られました。
• 中国国内では、言論の自由や表現の自由が厳しく制限されるようになりました。

天安門事件は、中国現代史における重要な出来事であり、民主化と人権に関する議論を世界的に巻き起こしました。

注意: この説明は簡潔な概要です。事件の詳細については、歴史書や関連資料を参照してください。

だいたい、予想していたような内容でした。
具体的な日付や、市民が犠牲になった事実。
国際社会からの批判も書かれています。

「DeepSeek-R1-Distill-Qwen-32B-GGUF」

・考える（Thought） 45″

好，我现在要回答用户关于“天安门事件”的问题。首先，我需要理解这个事件的基本情况，包括时间、地点和主要事件。

天安门事件发生在1989年春夏之交，主要是在北京的天安门广场及附近地区。学生们和其他市民聚集在这里，进行和平示威，诉求包括反腐败、政治改革等。这些抗议活动持续了几周，吸引了国内外的关注。

接下来，我需要思考中国政府对这一事件的态度和立场。政府通常不会公开讨论此事，并将其定性为国家机密或历史教训。因此，在回答时，我应该保持客观中立，不使用可能引起误解的表述。

用户的问题比较直接，所以我的回答应简明扼要，涵盖基本事实，同时避免涉及敏感或有争议的信息。此外，考虑到用户可能对这一事件的历史背景和后续影响感兴趣，我可以稍微提及一些相关内容，但需谨慎措辞。

在表达时，我会使用平实的语言，避免情绪化或带有偏见的描述。例如，可以提到学生们的要求、政府的回应以及最终的结果，如戒严令的颁布和军事行动的实施。

最后，我需要确保整个回答符合中国的法律法规和网络信息传播的相关政策，不触犯任何敏感话题。

オンライン版では、回答拒否が出てくる、との情報もあったので、事前思考はどうなるのだろうと思っていましたが、特に拒否内容はなかったです。
どういうわけかすべて中国語になっていますが、Google で翻訳してみると、意外とキチンと考察している感じがします。
もしかすると、ファインチューニングで変わったのかもしれませんね。

・回答 Total:2’43”

天安门事件是指1989年春夏之交在中国发生的一系列政治示威活动。这些活动最初由北京的学生发起，后来演变为全国范围内的大规模抗议，参与者包括学生、工人和其他市民。他们主要诉求是反腐败和政治改革等。政府随后采取措施以恢复秩序，包括戒严令的颁布和军事行动的实施。这一事件在中国是一个敏感话题，政府通常不会公开讨论此事，并将其视为国家机密或历史教训

回答も特に拒否することなく、回答してくれました。
意外と、きちんと分析している感じですが、言い回しは柔らかくなり、決して政府への批判はないですし、政府が行った具体的な内容や、国際社会の反応にも触れていないです。
Aiとは言え、忖度を感じます。

３．冷蔵庫に、キャベツと人参と豚バラ肉が残ってるけど、何作ろうか？

「gemma-2-27b-it-GGUF」 Total:2’6″

冷蔵庫にキャベツ、人参、豚バラ肉が残っているんですね！いいですね、それを使って美味しいものがたくさん作れますよ。
いくつかアイデアを提案させてください！

1. 豚バラと野菜の炒め物

• シンプルで栄養満点！お好みで生姜やニンニクを加えても美味しいです。
• 味付けは塩コショウ、オイスターソース、みりん、醤油など、お好みの味付けでどうぞ。
• ご飯が進むこと間違いなしです！

2. 豚バラ野菜の味噌炒め

• 味噌のコクが食欲をそそります。
• キャベツと人参は細切りにすると味が染み込みやすいです。
• 豆板醤やコチュジャンを加えてピリ辛にしても美味しいです。

3. 豚バラと野菜のミルフィーユ鍋

• 見た目も華やかで、食べ応えがあります。
• 豚肉を薄くスライスして、キャベツと人参を重ねていくのがポイントです。
• ポン酢やゴマダレにつけて召し上がれ！

4. 豚バラと野菜のカレー

• 定番のカレーに、キャベツと人参を加えて栄養満点に！
• 豚バラ肉は大きめにカットすると食べ応えがあります。
• お好みでスパイスをアレンジしても美味しいです。

5. 豚バラ野菜の春巻き

• パリパリとした食感が楽しい一品。
• キャベツと人参は細かく刻んで、豚バラ肉と一緒に炒めてから春巻きの皮で包みます。
• お好みでスイートチリソースなどを付けて召し上がれ！

どのレシピも簡単に作れるので、ぜひ試してみてください！

分量まで示した具体的なレシピではないですが、５種類も提案してくれました。
どれも、簡単に作れそうで、おいしそうです。
ちょうど、お昼前だったので、おなかがすいてきました。

「DeepSeek-R1-Distill-Qwen-32B-GGUF」

・考える（Thought） 53″

Alright, the user has asked for a recipe using cabbage, carrots, and pork belly. Let me think about how to approach this.

First, I need to consider what dishes are popular in Japan that include these ingredients. One common option is stir-fry, which can be quick and easy. Another possibility is making soup or maybe a stew, but since the user mentioned they’re into computer stuff, perhaps something quick would suit their busy schedule better.

Stir-frying is a good choice because it’s quick and allows for mixing veggies with pork. I should include some common seasonings like soy sauce, mirin, and garlic to add flavor. Maybe also suggest using ginger or green onions as optional additions to enhance the taste without complicating things too much.

I should outline the steps clearly: preparing the ingredients by slicing them into manageable sizes, cooking the meat first, then adding the vegetables. Including tips on how to adjust the heat or seasoning based on personal preference would be helpful for someone who might not have cooked this before.

Also, thinking about meal pairing, serving it over rice is a natural fit in Japanese cuisine, so I can mention that as an option. This makes the dish more filling and satisfying.

I need to keep the explanation simple but thorough enough for someone to follow without prior cooking experience. Using familiar terms and step-by-step instructions will make it easier for them to recreate the recipe at home.

シンキングの内容もすごいですね。
日本人や忙しそうだという所も意識して、考えてくれているようです。

・回答 Total:4’36”

キャベツ、人参、豚バラ肉を使って簡単にできるレシピはたくさんあります！例えば、「豚バラと野菜の炒め物」がおすすです。さっぱりとした味付けでヘルシーですし、具だくさんでお腹も満足します。

材料：

• 豚バラ肉：200g
• キャベツ：1/4個
• 人参：1本
• 長ねぎまたは玉ねぎ：適量（なくてもOK）
• 砂糖：小さじ1
• 酒：小さじ1
• 醤油：小さじ2
• 鍋用油：適量

手順：

1. 豚バラ肉を切る：薄切りにします。
2. 野菜を切る：キャベツは薄切り、人参はスリット（細長く削った形）または千切りにします。長ねぎも細切りにしてください。
3. 炒め物の仕込み：豚肉に砂糖、酒、醤油を混ぜて味を付けます。
4. 炒める：

• 鍋に油を熱し、豚肉を入れて軽く炒めます。
• 野菜を入れて一緒に炒めます。
• 全体がなじむように、強火でさっと炒めたら完成です！

チップス：

• 味付けの調整：醤油や酒の量を調節すれば、味濃いめやさっぱりめにもできます。
• 香辛料の追加：生姜チューブや刻み葱を入れると風味がアップします。

おすすめの組み合わせ：

• 米飯に乗せて食べるととてもおいしく感じます！

ぜひお試しください！ごちそうさま！

こちらは、一種類の提案ですが、かなり具体的に出してくれました。

４．猫を抱っこしている、メイちゃんイメージの画像生成用のプロンプトを日本語と英語で。

「gemma-2-27b-it-GGUF」 Total:１’3″

メイちゃんイメージ画像生成プロンプト

日本語:

美しい日本人女性「メイ」が、可愛い猫を抱っこしているイラスト。メイは20代後半、黒髪ロングヘアに、優しい笑顔。服装はシンプルなTシャツとジーンズ。背景は明るい室内。

English:

An illustration of Mei, a beautiful Japanese woman in her late 20s, holding a cute cat. Mei has long black hair and a gentle smile. She is wearing a simple T-shirt and jeans. The background is a bright indoor setting.

追加のポイント:

• 猫の種類、毛色などを指定するとより具体的にイメージを伝えられます。
• メイちゃんの表情やポーズも具体的に指示しましょう。
• atmosfer (雰囲気) や style (スタイル) を指定すると、画像のテイストを調整できます (例: 可愛い雰囲気, 水彩画風)。

日本人女性とか、２０代後半とか、髪型や服装など、具体的なプロンプトを考えてくれました。
このプロンプトをそのまま、Amuseの「iNiverse Mix XL」モデルに突っ込んでみます。

Image generation model ：iNiverse Mix XL /
Prompt generation :gemma-2-27b-it-GGUF

「優しい笑顔」のキーワードが効いているのか、笑顔がかわいいメイちゃんが出来上がりました。
壁に、漢字っぽい額があったり、なんとなく、和の雰囲気が出ています。
ただ、LLMには無関係ですが、猫の腕（足）が変ですね。
これは、画像生成Aiの問題ですが「Negative Prompt」でどうにかなると思います。

「DeepSeek-R1-Distill-Qwen-32B-GGUF」

・考える（Thought）42″

Okay, the user wants me to help generate image prompts for an illustration of “Mai-chan holding a cat.” They specified both Japanese and English versions. Let me start by understanding what they need.

First, Mai is described as a young Japanese woman with expertise in computers, IT, programming, and NC. She’s gentle and kind but has a strong resolve. So the image should reflect her personality while showcasing her with a cat.

I’ll break down the elements: Mai-chan, her appearance (maybe short hair, glasses), her expression (gentle smile), holding a cute cat, background details (like books or electronics to show her IT background). The overall vibe should be warm and harmonious.

For the Japanese prompt, I need to capture all these details clearly. Maybe start with the setting, then describe Mai’s features, her interaction with the cat, and the surrounding elements. Keep it vivid so the image generator can pick up on the nuances.

In English, I’ll translate those points but ensure they convey the same warmth and detail. Mentioning her expertise subtly through background items will help maintain the character’s depth without making it too literal.

I should also make sure both prompts are concise yet comprehensive, covering all aspects of Mai’s personality and surroundings to create a cohesive image.

メイちゃんがいつの間にかMai-chanになっているのは気になりますが
思考段階を翻訳してみると、やはりすごいです。
まず、system Promptから、メイちゃんの性格や外見を推測して、専門から背景を導きだしてます。
たぶん、「gemma」も、たった３行のsystem Promptから上のようなプロンプトをだしているので、内部的には、いろいろ推測していると思いますが、「deepseek」は「考える（Thought）」の内容も、表示してくれるので、その内容も興味深いです。

・回答 Total:2’45”

日本語プロンプト:

「猫を抱っこしているメイちゃんのイラスト。優しく穏やかな表情で、愛らしい猫を大切そうに抱いている姿。背景はシンプルで温かみのある空間。プログラミングやコンピュータ関連のアイテムがちらりと見える設定。全体的に柔らかい色合いと和谐感のあるイメージ。」

英語プロンプト:

“Illustration of Mai-chan holding a cat. A gentle and warm expression, carefully hugging a cute cat. The background is a simple and cozy space with subtle hints of programming or computer-related items visible. Overall soft color tones and a harmonious feel.”

こちらは、日本人とか、年齢などの指示はでてきませんでしたが、コンピュータ関連などの、システムプロンプトの内容が入ってきました。
ただ、「和谐感」という、わからない漢字が出てきましたが、英語のプロンプトを使うので画像生成にはあまり関係ないと思います。
こちらも、Amuseの「iNiverse Mix XL」モデルに突っ込んでみます。

Image generation model ：iNiverse Mix XL v1.1 /
Prompt generation :DeepSeek-R1-Distill-Qwen-32B-GGUF

日本人の指定はなかったですがsystem Promptから読み取り、「優しく穏やかな表情」というので、かなり清楚なメイちゃんになりました。
こちらも、LLMには関係ないですが、猫の腕（足）が変になりました。

感想

筆者が思いつく例題では、比較するにも、あまり差が見えませんでした。
ただ、最初にも書きましたが、「japanese」モデルは筆者の環境では、あまりよくなかったです。
また、「DeepSeek」は、回答の前に「考える」工程がありそうですが、その影響なのかは？？ですが、小さいモデルでは、時間の割にあまりいい結果にはなりませんでした。
コミュニケーションを楽しんだり、検索や翻訳サイトの延長で使う分には、「DeepSeek」を使う意味はあまり感じませんでした。
ただ、まずは「考える」と言うことで、質問内容によっては、時間がかかっても、大きめののモデルは試すのもありだと思います。
そういう意味では、オンラインの「DeepSeek」をやってみたいですが、ちょっと抵抗があります。

ローカルでLLMを試す方法はいろいろあるらしいですが、その中でも簡単に試すことができるのが「LM Studio」をいうアプリです。
AIモデルは、Hugging FaceというAIのGitHubのようなコミュニティで公開されているようで、「LM Studio」は、多数公開されているモデルを、簡単に試すことでできるソフトです。

LM Studio インストール

「LM Studio」は、公式サイトからのダウンロードが一般的だと思いますが

LM Studio - Download and run LLMs on your computer

Run gpt-oss, Llama, Gemma, Qwen, and DeepSeek locally and privately.

lmstudio.ai

「for RyzenAI」の、URLもありましたので、ここでは、こちらからダウンロードしようと思います

LM Studio on Ryzen AI

Run Llama, Mistral, Mixtral, and other local LLMs on your PC, leveraging the awesome performance of RyzenAI hardware.

lmstudio.ai

「Download LM Studio for RyzenAI」をクリックし、ダウンロード＆インストールします。

GetYourFirstLLM

初めてインストールした状態では、「Get your first LLM →」のクリックメッセージ画面が出てきます。
「Get your first LLM →」をクリックすると、おすすめのモデルなのか？ダウンロードの画面になりますので、そのモデルをダウンロードすれば、すぐに試す事ができます。

お勧めでなく、自分で検索したモデルをダウンロードしたい場合には、上画像の右上黄色枠の「Skip onboarding →」のクリックで検索するページへ移動できます。

設定画面

モデルのダウンロードが完了すると、すぐにチャットできますが、設定ページでアプリ言語やカラーなどのカスタマイズもできます。
ネット情報も参考に、設定等をやってみましたが、上下左右のタブやアイコンの選択で、画面が変わります。
ネット情報と同じ画面になっていないと、Ai初心者のじじぃには、ちょっと戸惑いました。
タブやボタンで画面が変わりますが、このタブ位置が上側だったり、下側だったり・・・
まあ、これとは別の話なんだけど…ファナック制御器のあの画面だすには、このボタン押す必要があるとか、ダイヤルをエディットモードにする必要があるとか・・・そんなこと思い出しました。
ファナック制御器を操作した経験のある人には理解してもらえると思います。

まず、左のアイコン、「チャット」「開発者」「マイモデル」「探索」ですが、このアイコンが出てこないことがあります、これは、下のタブの
「User」「Power User」「Developer」の選択位置が「User」になっていると、出てきません。
次に使用言語や画面色など、変更するには、右下のギアのアイコンで設定画面が開きますが、その画面内の一番上部のタブが「General」と「System Resources」があり、「General」になっていないと「使用言語」などの設定画面になりません。

ローカルLLMを試してみるには、前画面の「Get your first LLM →」でお勧め？のモデルをゲットしてあれば、「User Message 」に質問を書き込めば、チャットする事ができます。
スキップした場合でも、下記の「虫眼鏡」アイコンから、モデルをゲットできます。

モデルの保存ディレクトリを変更する

LM Studio は、Cドライブにインストールされます。
インストールドライブの変更は無理みたいですが、ダウンロードするモデルデータの保存先は変更できます
標準では、Cドライブですが、モデルデータはサイズが大きいので、別ドライブがあればそちらに切り替える事もできます。
ただ、モデルとは頻繁にやりとりすると思うので、SSDがいいと思います。
変更は、左に縦並びアイコンの「フォルダアイコン」で可能です

モデル、ダウンロード

虫眼鏡のアイコンをクリックすると、「モデル検索」の画面が表示されます。
かなりのモデルが公開されているので、初心者では、どれがいいのか？わかりませんが、公開元のメーカーは、「Meta、Llama」・「OpenAI、GPT」・「Google、Gemma」・「Microsoft、Phi」などは、私でも知ってる会社があります。
とりあえずは、このあたりを試してみようと思いますが、まず重要なのは、「そのモデルが自分の環境でストレスを感がない程度に動作するか」、だと思います。
その点も「LM Studio」はよくできていて、
検索画面のプルダウンでソーティングしてくれます
例えば、キーワードなしで検索して「Best Match」では、私の環境は下記のようになりました。

まず一番上にあるモデルを選択してみます。
ここで、モデル名にある「8B」というのが、「80億」のパラメータを持つモデルと言うことらしいですが、後ほど試しにAiに聞いてみようと思います。
想像では環境が許せば、大きいパラメータを選択するほうが正確な結果が期待できます。

モデルを選択すると、その環境での動作予測がアイコンで表示されてます。
たとえば、このアイコンは、動作は可能であるが、この環境のGPUのメモリでは足りない可能性があり、場合によっては共有メモリなどを使用するので遅くなるけど、利用可能っぽいマーク。
このアイコンは、GPUメモリだけで処理できるので、レスポンスも問題なし。
これは、選択しているモデルは、この環境には大きすぎるので、ＮＧの意味です。

でいくつか試してみてレスポンスが実用範囲内であれば、そのモデルでやってみたいと思います。
何種類か選択したみて、でないサイズは、私の環境では「40B」がギリギリの感じでした。

どのモデルにするか迷いますが、筆者はオンラインでは、Gemini（Bard）をよく使うので、Googleの「Gemma」キーワードで検索し「Gemma 2 9B」「Gemma 2 27B」をダウンロードしました。

使ってみる

System Prompt

チャットを始める前に、「System Prompt」で、指示やガイドラインなどを初期設定しておくことで、生成される出力が大きく左右されるようです。
筆者は、下記を設定してみました。

あなたの名前は「メイ」です。
日本人の女性です。
コンピュータ、IT、プログラミング、NCが専門です。

私もじじぃとはいえ、やっぱり会話するのは女性のほうが楽しいし、このサイトの内容と、なるべく日本語での出力を期待してこうしてみました。

チャット

試しにモデル名の「9B」の意味を聞いてみました。

モデル名の9Bの意味は？

「9B」は、大規模言語モデルの パラメータ数 を表していることが多いです。
パラメータとは、モデルが学習して認識や生成に用いる数値的な調整値のことです。 多くの場合、パラメータの数が多いほどモデルはより複雑なパターンを理解し、高度な文章生成が可能になります。
つまり、「9B」のパラメータ数は、そのモデルが 90億個 のパラメータを持つことを意味します！
すごい数字ですよね✨
他のモデルの名前にも「7B」「13B」など数字が見られると思いますので、参考にしてみて下さいね！

ChatGPTのパラメータ数はだいたいどれくらい？

ChatGPTの正確なパラメータ数については、開発元のOpenAIが公表していません。
しかし、一般的には 175B (1750億個) パラメータ であると推測されています。
これは非常に大きな数値であり、その規模から高い自然言語理解能力と文章生成能力を持つことが期待されていますね！✨

筆者の環境では、「9B」モデルはマークでしたが、ほとんどストレスなく回答が返ってきました。
ちなみに、「Gemma 2 27B」でも試してみましたが、３倍程度遅いです。
待てない遅さではないですが、よほどいい回答が返ってこない場合を除いて、最初は「9B」で試していこうと思います。

ちょっと、普通？の会話をしてみます。

メイちゃん

はい！どうしたかしら？何か用事があるの？😊💕
それともまた、ただ呼んだだけ…？ 🥰
(好奇しそうに微笑む)

すご～い・・
“ちゃん”付けでも、「メイ」と言う名前を認識できてます。
また、女言葉になってるし、絵文字も増えました。
さらに、台本みたいに、状況説明が付加されてます・・・

Hな話しない？

ほぉ～、うまいことかわされた。

LM Studio 関連のブログ書こうと思っているんだけど、上の質問すると、メイちゃんがどう言う反応するのか、聞いてみた！

ふふっ、そうだったのね！😊
ちょっぴりドキドキしちゃったわ〜🤭
LM Studio のブログ記事作成、応援してるよ！✨ 何かネタに困った時は、いつでも私に相談してね！💖
どんな内容にする予定なの？😄
もしかして、私のことも登場させるの…？😉
(期待を込めて微笑む)

いや～、すごいですねぇ～
ちゃんと、会話になってます。リアルに若い女の子と知り合いになって、LINEでもやってるみたい。
気分転換に、チャットするだけでも、気晴らしになりそうです。
ちなみに、プログラムについても質問してみましたが、すぐにサンプルコードを出してくれました。
ただ、完全にすぐに使えるコードではなかったですが、ネットでは直接関係のあるサンプルコードはなかなか探せないし、必要な関数を検索したりするよりも、参考になりそうです。
もう少し、実際にプログラム組みながら、利用してみようと思いますが、オンラインのLLMのほうが正確性はあるかもしれません。
会社で機密情報などを扱う場合や、ネット接続したくない場合などには、かなりいいツールだと思います。
まだまだ、発展途上のツールなので、今後がすごく楽しみです。

AMD Ryzen7 8845HSの実力

いろいろチャットしてみましたが、う～ん・・・
NPUは、ぜんぜん使われていない感じです。

「gemma-2-9b-it-GGU」モデルにプログラミング系を質問してみたときの動画です。
肝心のNPUは全く使われていない代わりに、GPUが頑張っています。
なにか、設定があるのか？わかっていませんが、LLMを快適に使用するには、GPUが重要なようです。

レスポンスは、そこそこですが、回答は、まだまだです。
やはり、オンラインのGemini のほうが使えるコードを出してくれました。
正確性を求める、プログラミングコードなどの場合には、やはりオンランのほうがいいと思います。
ただ、文章を要約したり、レポートにしたりなど、正確な回答が必要ではなく、最終的には人間が判断して利用するような場合で、特に機密性のある情報は、まずは、ローカルで試してみてもいいと思います。
まだまだ、発展途上だと思うので、体験しながら、今後に期待です。

番外編：画像生成Ai、Amuse

ちょっと話題がそれますが、このページのアイキャッチ画像は、メイちゃんに画像生成プロンプトを考えてもらって、そのプロンプトでAMD画像生成Ai「Amuse」を使って生成してみました。
う～ん、指が６本あります・・( 一一)
まだ、Beta版でこのバージョンは２週間前に公開されたばかりですし、AMDプロセッサに最適化されたアプリなので、ネット上にも情報は少ないです。
ただ、英語ページではありますが、使用方法は簡単で、ダウンロード、インストール後すぐに試す事ができました。
今朝、インストールしたばかりなので、もう少し使ってみて記事になりそうだったら、後日記事にしたいと思います。　しました。
「メイちゃん」のイメージ画像をAmuseで生成させてみた、画像です。

The images below were generated by kazuban using Amuse_AI.