<?xml version="1.0" encoding="UTF-8"?><rss version="2.0"
	xmlns:content="http://purl.org/rss/1.0/modules/content/"
	xmlns:wfw="http://wellformedweb.org/CommentAPI/"
	xmlns:dc="http://purl.org/dc/elements/1.1/"
	xmlns:atom="http://www.w3.org/2005/Atom"
	xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
	xmlns:slash="http://purl.org/rss/1.0/modules/slash/"
	>

<channel>
	<title>ローカルLLM | じじぃの引出し</title>
	<atom:link href="https://www.kazuban.com/blog/tag/%E3%83%AD%E3%83%BC%E3%82%AB%E3%83%ABllm/feed/" rel="self" type="application/rss+xml" />
	<link>https://www.kazuban.com/blog</link>
	<description>なにかしら、皆さんの参考になれば幸いです！</description>
	<lastBuildDate>Sun, 04 May 2025 01:13:05 +0000</lastBuildDate>
	<language>ja</language>
	<sy:updatePeriod>
	hourly	</sy:updatePeriod>
	<sy:updateFrequency>
	1	</sy:updateFrequency>
	<generator>https://wordpress.org/?v=7.0</generator>

<image>
	<url>https://www.kazuban.com/blog/wp-content/uploads/2020/05/cropped-ICON-1-32x32.png</url>
	<title>ローカルLLM | じじぃの引出し</title>
	<link>https://www.kazuban.com/blog</link>
	<width>32</width>
	<height>32</height>
</image> 
	<item>
		<title>DifyとOllamaを連携させ、ローカルチャットボット環境を作る</title>
		<link>https://www.kazuban.com/blog/dify-ollama/</link>
		
		<dc:creator><![CDATA[kazuban]]></dc:creator>
		<pubDate>Sat, 29 Mar 2025 23:22:16 +0000</pubDate>
				<category><![CDATA[AI]]></category>
		<category><![CDATA[IT]]></category>
		<category><![CDATA[Dify]]></category>
		<category><![CDATA[Ollama]]></category>
		<category><![CDATA[チャットボット]]></category>
		<category><![CDATA[ローカルLLM]]></category>
		<guid isPermaLink="false">https://www.kazuban.com/blog/?p=10632</guid>

					<description><![CDATA[前回は、DifyとLM Studioを連携させて、ローカル環境を作成しました。ただし、LM Studioは、完全にオープンライセンスではないようで、企業で使用する場合には、確認が必要です。Ollamaのほうが、自由に使え [&#8230;]]]></description>
										<content:encoded><![CDATA[
<p class="wp-block-paragraph">前回は、<strong>Dify</strong>と<strong>LM Studio</strong>を連携させて、ローカル環境を作成しました。<br>ただし、LM Studioは、完全にオープンライセンスではないようで、企業で使用する場合には、確認が必要です。<br>Ollamaのほうが、自由に使えそうです。<br>ただし、いろいろなLLMを試してみたり、チャットが主な目的な場合には、LM Studioのほうが、GUIでの操作ができるので、初心者はLM Studioが取りつきやすいと思います。<br>特に、使用ＰＣスペックでの動作推測やモデルの詳細などは、分かりやすいです。<br>Difyと連携させて利用する場合では、繋がってしまえば、あまり違いはないかもしれません。<br>いろんなモデルをLM Studioでの試してみて、気に入ったモデルをOllama経由でDify連携の使い方もありかな、と思います。</p>




  <div id="toc" class="toc tnt-number toc-center tnt-number border-element"><input type="checkbox" class="toc-checkbox" id="toc-checkbox-2" checked><label class="toc-title" for="toc-checkbox-2">目次</label>
    <div class="toc-content">
    <ol class="toc-list open"><li><a href="#toc1" tabindex="0">インストール</a></li><li><a href="#toc2" tabindex="0">モデルをダウンロードして起動</a></li><li><a href="#toc3" tabindex="0">Difyとの連携</a></li><li><a href="#toc4" tabindex="0">Windows 環境変数の編集</a><ol><li><a href="#toc5" tabindex="0">Ollama用、環境変数の追加</a></li><li><a href="#toc6" tabindex="0">Dify にもモデルを登録する</a></li></ol></li><li><a href="#toc7" tabindex="0">あとがき</a></li></ol>
    </div>
  </div>

<h2 class="wp-block-heading"><span id="toc1">インストール</span></h2>



<p class="wp-block-paragraph">OllamaをWindowsにインストールするには、<a href="https://ollama.com/download/windows">下記サイトから</a>インストール実行ファイル「OllamaSetup.exe」をダウンロード・実行でインストールできます。</p>



<div class="wp-block-media-text is-stacked-on-mobile"><figure class="wp-block-media-text__media"><img fetchpriority="high" decoding="async" width="745" height="621" src="https://www.kazuban.com/blog/wp-content/uploads/2025/03/download01.png" alt="" class="wp-image-10804 size-full" srcset="https://www.kazuban.com/blog/wp-content/uploads/2025/03/download01.png 745w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/download01-500x417.png 500w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/download01-300x250.png 300w" sizes="(max-width: 745px) 100vw, 745px" /></figure><div class="wp-block-media-text__content">
<p class="wp-block-paragraph">インストール完了後、何事もなく終了ますが、スタートメニューには登録され、タスクバーの「隠れているインジケータ」にアイコンがあれば起動しています。<br>コマンドプロンプトなどを開いて、「ollama ーーhelp」コマンドで確認してみます。</p>



<p class="wp-block-paragraph"></p>
</div></div>



<pre class="wp-block-code has-cocoon-white-color has-black-background-color has-text-color has-background has-link-color wp-elements-86dcacdbec62004d37fbd6dca50367b5"><code>PS C:\Users\hoge&gt; <strong>ollama --help</strong>
Large language model runner

Usage:
  ollama &#91;flags]
  ollama &#91;command]

Available Commands:
  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  stop        Stop a running model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  ps          List running models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command

Flags:
  -h, --help      help for ollama
  -v, --version   Show version information

Use "ollama &#91;command] --help" for more information about a command.
PS C:\Users\hoge&gt;</code></pre>



<p class="wp-block-paragraph">エラーが出なければ、無事に動作しています。<br>「ollama ーーversion」でバージョンを確認できます。</p>



<pre class="wp-block-code has-cocoon-white-color has-black-background-color has-text-color has-background has-link-color wp-elements-bc0fb3908fbf723d66701c0558b774e8"><code>PS C:\Users\hoge&gt; <strong>ollama --version</strong>
ollama version is 0.6.2</code></pre>



<h2 class="wp-block-heading"><span id="toc2">モデルをダウンロードして起動</span></h2>



<p class="wp-block-paragraph">LLMを利用するにいは、公開されているモデルを下記から確認、ダウンロードできます。<br><a href="https://ollama.com/search">https://ollama.com/search</a><br>一覧から、利用したいモデル名をクリックすると、さらに「1b」「4b」など、モデルサイズで数種類でてきます。<br>一般的に小さい方が、性能は低い傾向にありますが、レスポンスはよくなります。<br>自分の環境で、レスポンスと相談して、大きいモデルがいいと思います。<br>LM Studio の場合、<a href="https://www.kazuban.com/blog/lm-studio-first-try/#toc5">自分のＰＣスペックとの相性をある程度アイコンで表示</a>してくれますが、Ollamaでは、とりあえず試してみて・・になるのかな～？<br>LM Studioで体験しておくと、自分の環境でも大丈夫なモデルサイズは察しがつきます。</p>



<figure class="wp-block-gallery has-nested-images columns-default is-cropped wp-block-gallery-1 is-layout-flex wp-block-gallery-is-layout-flex">
<figure class="wp-block-image size-large"><img decoding="async" width="800" height="600" data-id="10814" src="https://www.kazuban.com/blog/wp-content/uploads/2025/03/ollama-models-800x600.png" alt="" class="wp-image-10814" srcset="https://www.kazuban.com/blog/wp-content/uploads/2025/03/ollama-models-800x600.png 800w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/ollama-models-500x375.png 500w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/ollama-models-300x225.png 300w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/ollama-models-768x576.png 768w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/ollama-models.png 1024w" sizes="(max-width: 800px) 100vw, 800px" /></figure>



<figure class="wp-block-image size-large"><img decoding="async" width="800" height="601" data-id="10810" src="https://www.kazuban.com/blog/wp-content/uploads/2025/03/ollama-models01-800x601.png" alt="" class="wp-image-10810" srcset="https://www.kazuban.com/blog/wp-content/uploads/2025/03/ollama-models01-800x601.png 800w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/ollama-models01-500x375.png 500w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/ollama-models01-300x225.png 300w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/ollama-models01-768x577.png 768w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/ollama-models01.png 1024w" sizes="(max-width: 800px) 100vw, 800px" /></figure>
</figure>



<p class="wp-block-paragraph">ターミナルで「<strong>ollama run </strong>[<em>モデル名</em>]」でダウンロード後実行できます。<br>モデル名は、ダウンロードサイトのコピーアイコン<img loading="lazy" decoding="async" width="24" height="25" class="wp-image-10792" style="width: 24px;" src="https://www.kazuban.com/blog/wp-content/uploads/2025/03/copy_icon.png" alt="">を利用するとモデル名をクリップボードへコピーできるので便利です。</p>



<pre class="wp-block-code has-cocoon-white-color has-black-background-color has-text-color has-background has-link-color wp-elements-a170e2946e94ec5938c3f995bac076db"><code>PS C:\Users\hoge&gt; <strong>ollama run gemma3:4b</strong>
pulling manifest
pulling aeda25e63ebd... 100% ▕███████████▏ 3.3 GB
pulling e0a42594d802... 100% ▕███████████▏  358 B
pulling dd084c7d92a3... 100% ▕███████████▏ 8.4 KB
pulling 3116c5225075... 100% ▕███████████▏   77 B
pulling b6ae5839783f... 100% ▕███████████▏  489 B
verifying sha256 digest
writing manifest
success
&gt;&gt;&gt; 始めまして
はじめまして！こちらこそ、ご挨拶ありがとうございます。

何か私にできることはありますか？ 例えば、

*   何か質問に答える
*   文章を作成する
*   アイデアを出し合う
*   ただおしゃべりする

など、どんなことでも構いません。😊

&gt;&gt;&gt; Send a message (/? for help)</code></pre>



<p class="wp-block-paragraph">「&gt;&gt;&gt; <span class="cocoon-custom-text-1">Send a message (/? for help)</span>」のプロンプトがでると、会話ができます。<br><span class="marker-under-red">会話の終了は<strong>「/bye」</strong></span>です。</p>



<h2 class="wp-block-heading"><span id="toc3">Difyとの連携</span></h2>



<p class="wp-block-paragraph">前回、<a href="https://www.kazuban.com/blog/dify-lmstudio/#toc8">「LM Studio」との連携で、LM Studioプラグインの設定方法</a>と、ほとんど同じです。</p>



<figure class="wp-block-gallery has-nested-images columns-default is-cropped wp-block-gallery-2 is-layout-flex wp-block-gallery-is-layout-flex">
<figure class="wp-block-image size-large"><a href="https://www.kazuban.com/blog/wp-content/uploads/2025/03/model-provider01.png"><img loading="lazy" decoding="async" width="800" height="518" data-id="10821" src="https://www.kazuban.com/blog/wp-content/uploads/2025/03/model-provider01-800x518.png" alt="" class="wp-image-10821" srcset="https://www.kazuban.com/blog/wp-content/uploads/2025/03/model-provider01-800x518.png 800w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/model-provider01-500x324.png 500w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/model-provider01-300x194.png 300w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/model-provider01-768x497.png 768w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/model-provider01.png 1024w" sizes="(max-width: 800px) 100vw, 800px" /></a></figure>



<figure class="wp-block-image size-large"><a href="https://www.kazuban.com/blog/wp-content/uploads/2025/03/model-provider02.png"><img loading="lazy" decoding="async" width="800" height="518" data-id="10820" src="https://www.kazuban.com/blog/wp-content/uploads/2025/03/model-provider02-800x518.png" alt="" class="wp-image-10820" srcset="https://www.kazuban.com/blog/wp-content/uploads/2025/03/model-provider02-800x518.png 800w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/model-provider02-500x324.png 500w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/model-provider02-300x194.png 300w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/model-provider02-768x497.png 768w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/model-provider02.png 1024w" sizes="(max-width: 800px) 100vw, 800px" /></a></figure>
</figure>



<p class="wp-block-paragraph">「設定」の「モデルプロバイダー」から「Ollama」プラグインをインストールします。<br>インストールが完了したら、再度「設定」の「モデルプロバイダー」「Ollamaモデル」に「モデルを追加」で<a href="#toc2">上記でダウンロードした</a>モデルと「URL（ＩPアドレス）」を設定します。<br>ダウンローズ済みモデルは、ターミナルから「ollama list」コマンドで確認できます</p>



<pre class="wp-block-code has-cocoon-white-color has-black-background-color has-text-color has-background has-link-color wp-elements-4560adfa84aede7277cd41712e345324"><code>PS C:\Users\hoge&gt; <strong>ollama list</strong>
NAME           ID              SIZE      MODIFIED
llama3.2:1b    baf6a787fdff    1.3 GB    8 minutes ago
gemma3:4b      c0494fe00251    3.3 GB    26 minutes ago
PS C:\Users\hoge&gt; <strong>ollama run llama3.2:1b</strong>
&gt;&gt;&gt; /bye
PS C:\Users\hoge&gt;
</code></pre>



<p class="wp-block-paragraph">また、「Base URL」は「ollama」が動作している、PCの「IPアドレス」に「<span class="marker-under-red">:11434</span>」のポート番号を付加して設定します。<br>ただし、URLが<span class="marker-under">LAN上の他のPCのIP（localhost以外の場合）でエラーが発生</span>してしまう場合、下記の「環境変数の編集」を試してみてください。<br>正常に「保存」が終了すると、<a href="https://www.kazuban.com/blog/dify-lmstudio/#toc7">前回記事の「LM Studio」の場合と同様に</a>、Difyで利用するモデルとして選択できるようになります。</p>



<h2 class="wp-block-heading"><span id="toc4">Windows 環境変数の編集</span></h2>



<p class="wp-block-paragraph">「Ollama」の環境変数について、geminiに聞いて、下記回答をもらいました。</p>



<blockquote class="wp-block-quote is-layout-flow wp-block-quote-is-layout-flow">
<p class="wp-block-paragraph">Ollamaの環境変数についてですね。Ollamaは、ローカルで大規模言語モデル（LLM）を実行するためのツールであり、いくつかの環境変数を使用してその動作をカスタマイズできます。主な環境変数は以下の通りです。</p>



<ul class="wp-block-list">
<li><strong>OLLAMA_HOST</strong>:
<ul class="wp-block-list">
<li>Ollamaがリッスンするホストアドレスを指定します。デフォルトは<code>127.0.0.1</code>であり、ローカルマシンからの接続のみを受け付けます。ネットワーク上の他のマシンからOllamaにアクセスできるようにするには、この変数を<code>0.0.0.0</code>に設定します。</li>
</ul>
</li>



<li><strong>OLLAMA_MODELS</strong>:
<ul class="wp-block-list">
<li>モデルの重みを保存するディレクトリのパスを指定します。デフォルトでは、Ollamaは特定のデフォルトディレクトリにモデルを保存しますが、この変数を使用して別の場所を指定できます。これにより、モデルファイルを別のドライブやディレクトリに保存することができます。</li>
</ul>
</li>



<li><strong>OLLAMA_ORIGINS</strong>:
<ul class="wp-block-list">
<li>クロスオリジンリクエストを許可するオリジンを指定します。OLLAMA APIをWebアプリケーションから利用する場合に設定します。</li>
</ul>
</li>



<li><strong>OLLAMA_DEBUG</strong>:
<ul class="wp-block-list">
<li>デバッグモードを有効にします。Ollamaのデバッグ情報を表示する場合に設定します。</li>
</ul>
</li>
</ul>



<p class="wp-block-paragraph">これらの環境変数を設定することで、Ollamaの動作を柔軟に制御できます。環境変数の設定方法は、オペレーティングシステムによって異なります。</p>



<ul class="wp-block-list">
<li><strong>Windows</strong>:
<ul class="wp-block-list">
<li>「システム環境変数の編集」から設定します。</li>
</ul>
</li>



<li><strong>macOS / Linux</strong>:
<ul class="wp-block-list">
<li>ターミナルから<code>export</code>コマンドを使用して一時的に設定するか、<code>.bashrc</code>や<code>.zshrc</code>などのファイルに記述して永続的に設定します。また、サービスとしてOllamaを実行している場合は、systemdの設定ファイルに環境変数を記述します。</li>
</ul>
</li>
</ul>



<p class="wp-block-paragraph">より詳細な情報や具体的な設定方法については、Ollamaの公式ドキュメントや関連するオンラインリソースを参照することをおすすめします。</p>
</blockquote>



<p class="wp-block-paragraph">他のサイトをみると、環境変数を設定しないでも、正常に動作しているような記事も見かけましたし、「<strong>OLLAMA_HOST</strong>」だけ設定している記事もありました。<br>筆者の場合も、「<strong>OLLAMA_HOST</strong>」だけで正常に動作ましたが、「<strong>OLLAMA_ORIGINS</strong>」も設定しました。<br>また、「<strong>OLLAMA_MODELS</strong>」を設定すると、デフォルト（Cドライブ）以外にモデルを保存できます</p>



<h3 class="wp-block-heading"><span id="toc5">Ollama用、環境変数の追加</span></h3>



<p class="wp-block-paragraph">環境変数を行う前には、「ollama」は終了しておきましょう。<br>タスクバー右の「^」ボタン「隠れているインジケーター」から、Ollamaアイコン右クリック「Quit Ollama」でも終了できます。<br>Windows検索バーに「<strong>環境変数</strong>」と入力すると「<span class="marker-under-red"><strong>システム環境変数の編集</strong></span>」が見つかるので、「環境変数」ボタンをクリックして上段の「<strong>ユーザー環境変数</strong>」の「<strong>新規</strong>」で環境変数を追加します。</p>



<figure class="wp-block-image size-large"><img loading="lazy" decoding="async" width="800" height="479" src="https://www.kazuban.com/blog/wp-content/uploads/2025/03/environment_-variables-800x479.png" alt="" class="wp-image-10831" srcset="https://www.kazuban.com/blog/wp-content/uploads/2025/03/environment_-variables-800x479.png 800w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/environment_-variables-500x299.png 500w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/environment_-variables-300x180.png 300w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/environment_-variables-768x460.png 768w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/environment_-variables-1536x920.png 1536w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/environment_-variables.png 1622w" sizes="(max-width: 800px) 100vw, 800px" /></figure>



<blockquote class="wp-block-quote is-layout-flow wp-block-quote-is-layout-flow">
<p class="wp-block-paragraph">OLLAMA_HOST : 0.0.0.0<br>OLLAMA_ORIGINS : *<br>OLLAMA_MODELS : D:\Ollama_Models</p>
</blockquote>



<p class="wp-block-paragraph">ただし、「OLLAMA_MODELS」の設定は、注意が必要です。<br>環境変数追加前に、ダウンロードしたモデルは、自働的には移動してはくれません。<br><span class="marker-under">再度、ダウンロード</span>するか、デフォルトでは<br>「<strong>C:\Users\</strong>[ユーザー]<strong>\.ollama\models</strong>」の下に登録されているので、環境変数変更前に指定フォルダへコピーしておくと、反映されると思いますが、試してはいません。<br>環境変数変更後でも、Ollamaを起動する前に、設定したフォルダへ移動してもいいかもしれません。<br>環境変数の編集が適応されているかは、下記で確認できます。<br><span class="marker-under"><strong>コマンドプロンプト</strong>と<strong>PowerShell</strong>で指令が違うので注意してください。</span></p>



<pre class="wp-block-code has-cocoon-white-color has-black-background-color has-text-color has-background has-link-color wp-elements-c7c40c73e4e678be78649e5675edb001"><code>★コマンドプロンプト
C:\Users\hoge&gt;echo %OLLAMA_HOST%
0.0.0.0

C:\Users\hoge&gt;echo %OLLAMA_MODELS%
D:\Ollama_Models

C:\Users\hoge&gt;echo %OLLAMA_ORIGINS%
*

★PowerShell
PS C:\Users\hoge&gt; $env:OLLAMA_HOST
0.0.0.0

PS C:\Users\hoge&gt; $env:OLLAMA_MODELS
D:\Ollama_Models

PS C:\Users\hoge&gt; $env:OLLAMA_ORIGINS
*</code></pre>



<h3 class="wp-block-heading"><span id="toc6">Dify にもモデルを登録する</span></h3>



<p class="wp-block-paragraph">モデルフォルダを変更した場合には、「<strong>ollama list</strong>」コマンドで確認できます。<br>正常に変更されていれば、<span class="marker-under-red">再度「Olama」を起動</span>して、「Dify」の「Ollama」モデルのプラグイン設定で追加できるようになります。<br><a href="https://www.kazuban.com/blog/dify-lmstudio/#toc8">追加方法は、LM Studio 編を参考にしてください。</a></p>



<figure class="wp-block-image size-large"><img loading="lazy" decoding="async" width="800" height="333" src="https://www.kazuban.com/blog/wp-content/uploads/2025/03/ollama_plugin_add-800x333.png" alt="" class="wp-image-10853" srcset="https://www.kazuban.com/blog/wp-content/uploads/2025/03/ollama_plugin_add-800x333.png 800w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/ollama_plugin_add-500x208.png 500w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/ollama_plugin_add-300x125.png 300w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/ollama_plugin_add-768x320.png 768w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/ollama_plugin_add.png 1009w" sizes="(max-width: 800px) 100vw, 800px" /></figure>



<p class="wp-block-paragraph">追加したモデルは、Difyで作成するアプリから、ollamaを利用できるようになります。</p>



<figure class="wp-block-image size-large"><img loading="lazy" decoding="async" width="800" height="486" src="https://www.kazuban.com/blog/wp-content/uploads/2025/03/ollama_model_select-800x486.png" alt="" class="wp-image-10854" srcset="https://www.kazuban.com/blog/wp-content/uploads/2025/03/ollama_model_select-800x486.png 800w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/ollama_model_select-500x304.png 500w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/ollama_model_select-300x182.png 300w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/ollama_model_select-768x466.png 768w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/ollama_model_select.png 1248w" sizes="(max-width: 800px) 100vw, 800px" /></figure>



<h2 class="wp-block-heading"><span id="toc7">あとがき</span></h2>



<p class="wp-block-paragraph">これで、完全ローカルで、DifyからOllamaも利用できるようになりました。<br>筆者の環境では、「Windows環境変数の編集」が必要だったので、少し戸惑いましたが、どうにか利用できるようになりました。<br>LM Studioがいいのか？Ollamaがいいのか？は、自分の環境や使い勝手で使い分けてください。<br>選択肢があるというのは、いいことだと思います。<br>さぁ、いよいよ、Difyの勉強を始められる環境は出来上がりましたが・・・・<br>ちょっと、Docker Desktop の環境なのが気になっています。<br>WSLでUbuntu24.04を起動させた環境か、現在稼働中のLinuxマシンか・・・<br>いずれにしても、linux環境で立ち上げてみたくなってきました。<br></p>
]]></content:encoded>
					
		
		
			</item>
		<item>
		<title>ローカルでDifyとLM_Studio を連携させ、ローカルでチャットボットを作る。</title>
		<link>https://www.kazuban.com/blog/dify-lmstudio/</link>
		
		<dc:creator><![CDATA[kazuban]]></dc:creator>
		<pubDate>Sat, 22 Mar 2025 23:40:15 +0000</pubDate>
				<category><![CDATA[AI]]></category>
		<category><![CDATA[IT]]></category>
		<category><![CDATA[Dify]]></category>
		<category><![CDATA[LM-Studio]]></category>
		<category><![CDATA[チャットボット]]></category>
		<category><![CDATA[ローカルLLM]]></category>
		<guid isPermaLink="false">https://www.kazuban.com/blog/?p=10639</guid>

					<description><![CDATA[以前の記事で、LM Studioを利用して、ローカル環境でLLMを利用する方法を紹介しました。また前回、生成Aiアプリを比較的簡単に開発できる、Difyをローカルで起動させてみました。今回はこのDifyとLM Studi [&#8230;]]]></description>
										<content:encoded><![CDATA[
<p class="wp-block-paragraph"><a href="https://www.kazuban.com/blog/lm-studio-first-try/">以前の記事で、LM Studioを利用して、ローカル環境でLLMを利用する方法</a><br>を紹介しました。<br><a href="https://www.kazuban.com/blog/dify-install/">また前回、生成Aiアプリを比較的簡単に開発できる、Difyをローカルで起動</a><br>させてみました。<br>今回はこのDifyとLM Studioを連携させ、完全ローカル環境で生成Aiアプリを開発する環境設定を作ってみます。<br>筆者はDifyは超初心者なので、Difyでのアプリ開発に興味あるかたはネットをチェックしてみてください。<br>ここでは、DifyとローカルLLMと連携する方法を紹介します。</p>




  <div id="toc" class="toc tnt-number toc-center tnt-number border-element"><input type="checkbox" class="toc-checkbox" id="toc-checkbox-4" checked><label class="toc-title" for="toc-checkbox-4">目次</label>
    <div class="toc-content">
    <ol class="toc-list open"><li><a href="#toc1" tabindex="0">Difyで簡単なチャットボット作る</a></li><li><a href="#toc2" tabindex="0">モデルを登録する</a><ol><li><a href="#toc3" tabindex="0">オンラインLLM gemini の登録</a></li><li><a href="#toc4" tabindex="0">ローカルLLM LM Studio の登録</a><ol><li><a href="#toc5" tabindex="0">LM Studio をサーバーモードにする</a></li><li><a href="#toc6" tabindex="0">DifyでLM Studio のモデルを利用する</a></li></ol></li><li><a href="#toc7" tabindex="0">LM Studio サーバーのモデル使用</a></li><li><a href="#toc8" tabindex="0">LM Studio のモデルプロバイダーが追加されてる・・・</a></li></ol></li><li><a href="#toc9" tabindex="0">あとがき</a></li></ol>
    </div>
  </div>

<h2 class="wp-block-heading"><span id="toc1">Difyで簡単なチャットボット作る</span></h2>



<p class="wp-block-paragraph">まずは、Difyで一番簡単なチャットボットを作成する流れを説明します。<br><a href="https://www.kazuban.com/blog/dify-install/">前回までで</a>、Difyをインストールして「<a href="http://localhost/install">http://localhost/install</a>」でアカウント作成を行いました。<br>ログインすると、「最初から作成」でアプリが作成できるようになります。</p>



<figure class="wp-block-gallery has-nested-images columns-default is-cropped wp-block-gallery-3 is-layout-flex wp-block-gallery-is-layout-flex">
<figure class="wp-block-image size-large"><img loading="lazy" decoding="async" width="800" height="577" data-id="10697" src="https://www.kazuban.com/blog/wp-content/uploads/2025/03/dify_fist01-800x577.png" alt="" class="wp-image-10697" srcset="https://www.kazuban.com/blog/wp-content/uploads/2025/03/dify_fist01-800x577.png 800w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/dify_fist01-500x360.png 500w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/dify_fist01-300x216.png 300w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/dify_fist01-768x554.png 768w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/dify_fist01.png 860w" sizes="(max-width: 800px) 100vw, 800px" /></figure>



<figure class="wp-block-image size-large"><img loading="lazy" decoding="async" width="800" height="609" data-id="10698" src="https://www.kazuban.com/blog/wp-content/uploads/2025/03/dify_fist02-800x609.png" alt="" class="wp-image-10698" srcset="https://www.kazuban.com/blog/wp-content/uploads/2025/03/dify_fist02-800x609.png 800w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/dify_fist02-500x381.png 500w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/dify_fist02-300x228.png 300w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/dify_fist02-768x585.png 768w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/dify_fist02.png 860w" sizes="(max-width: 800px) 100vw, 800px" /></figure>
</figure>



<p class="wp-block-paragraph">とりあえずチャットボットを選択し、「アプリのアイコンと名前」と「説明」は任意で入力します<br>「作成する」で、次の画面へ進みます。</p>



<figure class="wp-block-image size-large"><img loading="lazy" decoding="async" width="800" height="461" src="https://www.kazuban.com/blog/wp-content/uploads/2025/03/dify_fist03-800x461.png" alt="" class="wp-image-10656" srcset="https://www.kazuban.com/blog/wp-content/uploads/2025/03/dify_fist03-800x461.png 800w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/dify_fist03-500x288.png 500w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/dify_fist03-300x173.png 300w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/dify_fist03-768x443.png 768w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/dify_fist03-1536x885.png 1536w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/dify_fist03-120x68.png 120w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/dify_fist03.png 1780w" sizes="(max-width: 800px) 100vw, 800px" /></figure>



<p class="wp-block-paragraph">ここで、右上の設定から、使用したいモデルを選択する事で、このモデルと会話するチャットアプリが作れますが、<span class="marker-under">事前に使用するLLMモデルの登録が必要</span>です。<br>ここでは、事前にオンラインのgeminiモデルを登録しておいたので、geminiの複数モデルが選択できるようになっています。<br>違うモデルで何種類か作成し公開すれば、簡単に違うモデルと会話できるアプリが作成できます。<br>ただしこれは、<span class="marker-under-red">ローカルではなくオンライン環境</span>になります。<br>ここで、LM_Studioで動作させてさせている、ローカルLLMを登録すれば、ローカルLLMと会話できるようになります。</p>



<h2 class="wp-block-heading"><span id="toc2">モデルを登録する</span></h2>



<p class="wp-block-paragraph">Difyはとても機能が多く非常に興味的なアプリなので、筆者ももう少し取り組んでみたいと思っていますが、まずはローカル環境でいろいろ試せる環境を作ります。</p>



<h3 class="wp-block-heading"><span id="toc3">オンラインLLM gemini の登録</span></h3>



<p class="wp-block-paragraph">まずは、ローカルではないですが、Googleのgeminiを利用してみます。<br>利用するには、geminiプラグインのインストールが必要です。<br>プラグインは、<span class="inline-button-blue">右上のユーザー名</span>から出てくるプルダウンで「設定」を選択すると、<br>左サイドに「設定」の項目が表示されます。<br>その下段のモデルプロバイダーで登録します</p>



<figure class="wp-block-gallery has-nested-images columns-default is-cropped wp-block-gallery-4 is-layout-flex wp-block-gallery-is-layout-flex">
<figure class="wp-block-image size-large" style="margin-top:var(--wp--preset--spacing--50);margin-right:0;margin-bottom:var(--wp--preset--spacing--50);margin-left:0"><a href="https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin01.png"><img loading="lazy" decoding="async" width="800" height="720" data-id="10662" src="https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin01-800x720.png" alt="" class="wp-image-10662" srcset="https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin01-800x720.png 800w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin01-500x450.png 500w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin01-300x270.png 300w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin01-768x692.png 768w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin01.png 1346w" sizes="(max-width: 800px) 100vw, 800px" /></a></figure>



<figure class="wp-block-image size-large" style="margin-top:var(--wp--preset--spacing--80);margin-right:0;margin-bottom:var(--wp--preset--spacing--80);margin-left:0"><img loading="lazy" decoding="async" width="800" height="469" data-id="10664" src="https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin02-800x469.png" alt="" class="wp-image-10664" srcset="https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin02-800x469.png 800w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin02-500x293.png 500w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin02-300x176.png 300w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin02-768x450.png 768w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin02.png 861w" sizes="(max-width: 800px) 100vw, 800px" /></figure>
</figure>



<p class="wp-block-paragraph">インストールしたいモデル（今回は、Gemini）を探してインストールします。<br>インストールは私の環境では結構時間がかかりました。<br>インストール中でも画面にあまり変化がないので<span class="marker-under-blue">完了したタイミングを見逃しがち</span>ですが、<br>右上のプラグインアイコンがこの状態は、<img loading="lazy" decoding="async" width="120" height="42" class="wp-image-10708" style="width: 120px;" src="https://www.kazuban.com/blog/wp-content/uploads/2025/03/plugin-install01.png" alt=""><span class="marker-under">インストール中</span>です<br>完了すると<img loading="lazy" decoding="async" width="140" height="46" class="wp-image-10709" style="width: 140px;" src="https://www.kazuban.com/blog/wp-content/uploads/2025/03/plugin-install02.png" alt=""><span class="marker-under-red">このアイコンになります</span>ので、待ちます。<br>次に、インストール後Geminiを使用するには、API-KEYのセットアップが必要です。</p>



<figure class="wp-block-gallery has-nested-images columns-default is-cropped wp-block-gallery-5 is-layout-flex wp-block-gallery-is-layout-flex">
<figure class="wp-block-image size-large" style="margin-right:var(--wp--preset--spacing--20);margin-left:var(--wp--preset--spacing--20)"><img loading="lazy" decoding="async" width="800" height="469" data-id="10664" src="https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin02-800x469.png" alt="" class="wp-image-10664" srcset="https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin02-800x469.png 800w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin02-500x293.png 500w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin02-300x176.png 300w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin02-768x450.png 768w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin02.png 861w" sizes="(max-width: 800px) 100vw, 800px" /></figure>



<figure class="wp-block-image size-large" style="margin-top:var(--wp--preset--spacing--30);margin-right:0;margin-bottom:var(--wp--preset--spacing--30);margin-left:0"><img loading="lazy" decoding="async" width="800" height="395" data-id="10680" src="https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin03-1-800x395.png" alt="" class="wp-image-10680" srcset="https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin03-1-800x395.png 800w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin03-1-500x247.png 500w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin03-1-300x148.png 300w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin03-1-768x379.png 768w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin03-1.png 1163w" sizes="(max-width: 800px) 100vw, 800px" /></figure>



<figure class="wp-block-image size-large" style="margin-top:var(--wp--preset--spacing--40);margin-bottom:var(--wp--preset--spacing--40)"><img loading="lazy" decoding="async" width="800" height="369" data-id="10681" src="https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin04-800x369.png" alt="" class="wp-image-10681" srcset="https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin04-800x369.png 800w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin04-500x230.png 500w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin04-300x138.png 300w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin04-768x354.png 768w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin04.png 970w" sizes="(max-width: 800px) 100vw, 800px" /></figure>



<figure class="wp-block-image size-large" style="margin-top:0;margin-right:var(--wp--preset--spacing--30);margin-bottom:0;margin-left:var(--wp--preset--spacing--30)"><img loading="lazy" decoding="async" width="800" height="421" data-id="10682" src="https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin05-800x421.png" alt="" class="wp-image-10682" srcset="https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin05-800x421.png 800w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin05-500x263.png 500w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin05-300x158.png 300w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin05-768x405.png 768w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin05.png 1027w" sizes="(max-width: 800px) 100vw, 800px" /></figure>



<figure class="wp-block-image size-large" style="margin-top:var(--wp--preset--spacing--20);margin-right:var(--wp--preset--spacing--20);margin-bottom:var(--wp--preset--spacing--20);margin-left:var(--wp--preset--spacing--20)"><img loading="lazy" decoding="async" width="800" height="379" data-id="10683" src="https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin06-800x379.png" alt="" class="wp-image-10683" srcset="https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin06-800x379.png 800w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin06-500x237.png 500w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin06-300x142.png 300w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin06-768x364.png 768w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin06.png 1146w" sizes="(max-width: 800px) 100vw, 800px" /></figure>



<figure class="wp-block-image size-large"><img loading="lazy" decoding="async" width="800" height="404" data-id="10684" src="https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin07-800x404.png" alt="" class="wp-image-10684" srcset="https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin07-800x404.png 800w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin07-500x252.png 500w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin07-300x151.png 300w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin07-768x388.png 768w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin07.png 1084w" sizes="(max-width: 800px) 100vw, 800px" /></figure>



<figure class="wp-block-image size-large" style="margin-top:var(--wp--preset--spacing--60);margin-right:var(--wp--preset--spacing--30);margin-bottom:var(--wp--preset--spacing--60);margin-left:var(--wp--preset--spacing--30)"><img loading="lazy" decoding="async" width="800" height="254" data-id="10685" src="https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin08-800x254.png" alt="" class="wp-image-10685" srcset="https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin08-800x254.png 800w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin08-500x159.png 500w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin08-300x95.png 300w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin08-768x244.png 768w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin08.png 1159w" sizes="(max-width: 800px) 100vw, 800px" /></figure>



<figure class="wp-block-image size-large" style="margin-top:var(--wp--preset--spacing--40);margin-bottom:var(--wp--preset--spacing--40)"><img loading="lazy" decoding="async" width="730" height="337" data-id="10673" src="https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin09.png" alt="" class="wp-image-10673" srcset="https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin09.png 730w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin09-500x231.png 500w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin09-300x138.png 300w" sizes="(max-width: 730px) 100vw, 730px" /></figure>



<figure class="wp-block-image size-large" style="margin-top:var(--wp--preset--spacing--30);margin-bottom:var(--wp--preset--spacing--30)"><img loading="lazy" decoding="async" width="728" height="388" data-id="10686" src="https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin10.png" alt="" class="wp-image-10686" srcset="https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin10.png 728w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin10-500x266.png 500w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin10-300x160.png 300w" sizes="(max-width: 728px) 100vw, 728px" /></figure>



<figure class="wp-block-image size-large" style="margin-top:var(--wp--preset--spacing--60);margin-bottom:var(--wp--preset--spacing--60)"><img loading="lazy" decoding="async" width="728" height="333" data-id="10675" src="https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin11.png" alt="" class="wp-image-10675" srcset="https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin11.png 728w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin11-500x229.png 500w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini_plugin11-300x137.png 300w" sizes="(max-width: 728px) 100vw, 728px" /></figure>
</figure>



<p class="wp-block-paragraph">APIキーが正常に設定されると、「右上のユーザ」⇒「設定」⇒「モデルプロバイダー」で設定済みのモデルとして表示されます。</p>



<figure class="wp-block-image size-large"><img loading="lazy" decoding="async" width="800" height="122" src="https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini-ApiKEY-800x122.png" alt="" class="wp-image-10704" srcset="https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini-ApiKEY-800x122.png 800w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini-ApiKEY-500x76.png 500w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini-ApiKEY-300x46.png 300w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini-ApiKEY-768x117.png 768w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/gemini-ApiKEY.png 934w" sizes="(max-width: 800px) 100vw, 800px" /></figure>



<p class="wp-block-paragraph">ただし、私の環境では、<span class="marker-under">正常に設定できた</span>とメッセージがでたのに、<span class="marker-under">ここに表示されていない事</span>がありました、その場合、<span class="marker-under-red">もう一度モデルプロバイダー一覧から再度インストール</span>すると表示されました。<br>この場合、インストール時間は殆どかかりません。<br>これで、上の例のように、使用モデルとして選択できるようになります。</p>



<h3 class="wp-block-heading"><span id="toc4">ローカルLLM LM Studio の登録</span></h3>



<p class="wp-block-paragraph">Geminiはオンラインクラウド上のLLMですが、いよいよローカルLLMと連携させます。</p>



<h4 class="wp-block-heading"><span id="toc5">LM Studio をサーバーモードにする</span></h4>



<p class="wp-block-paragraph">DifyとLM Studioを連携するには、まず、LM Studioをサーバーモードで動作させます。<br>まず左サイドバーのDeveloperアイコン<img loading="lazy" decoding="async" width="35" height="34" class="wp-image-10712" style="width: 35px;" src="https://www.kazuban.com/blog/wp-content/uploads/2025/03/developer-icon.png" alt="">で、開発者モードに入り、</p>



<figure class="wp-block-image size-large"><img loading="lazy" decoding="async" width="800" height="496" src="https://www.kazuban.com/blog/wp-content/uploads/2025/03/LM_Studio_Server01-800x496.png" alt="" class="wp-image-10713" srcset="https://www.kazuban.com/blog/wp-content/uploads/2025/03/LM_Studio_Server01-800x496.png 800w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/LM_Studio_Server01-500x310.png 500w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/LM_Studio_Server01-300x186.png 300w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/LM_Studio_Server01-768x477.png 768w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/LM_Studio_Server01.png 1054w" sizes="(max-width: 800px) 100vw, 800px" /></figure>



<p class="wp-block-paragraph">その横の<span class="inline-button-green">スイッチ</span>で「Static Running」状態に設定すれば、サーバーモードで動作しています。<br>次に、Difyに提供する、モデルを「Select a model load」で<span class="marker-under-red">ダウンロード済みのモデル</span>から選択します。<br>２個のモデルをロードしてみました。</p>



<figure class="wp-block-image size-large"><img loading="lazy" decoding="async" width="800" height="396" src="https://www.kazuban.com/blog/wp-content/uploads/2025/03/LM_Studio_Server02-800x396.png" alt="" class="wp-image-10718" srcset="https://www.kazuban.com/blog/wp-content/uploads/2025/03/LM_Studio_Server02-800x396.png 800w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/LM_Studio_Server02-500x247.png 500w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/LM_Studio_Server02-300x148.png 300w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/LM_Studio_Server02-768x380.png 768w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/LM_Studio_Server02.png 1456w" sizes="(max-width: 800px) 100vw, 800px" /></figure>



<p class="wp-block-paragraph">この状態であれば、Difyでロードしたモデルを使用できるようになります。<br>ただし、LM Studioをクローズすると、モデルも使用できなくなってしまいます。<br>右下の<span class="inline-button-black">歯車マーク</span>で設定画面に入り</p>



<figure class="wp-block-image size-large"><img loading="lazy" decoding="async" width="800" height="506" src="https://www.kazuban.com/blog/wp-content/uploads/2025/03/LM_Studio_Server03-800x506.png" alt="" class="wp-image-10721" srcset="https://www.kazuban.com/blog/wp-content/uploads/2025/03/LM_Studio_Server03-800x506.png 800w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/LM_Studio_Server03-500x317.png 500w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/LM_Studio_Server03-300x190.png 300w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/LM_Studio_Server03-768x486.png 768w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/LM_Studio_Server03-1536x972.png 1536w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/LM_Studio_Server03.png 1943w" sizes="(max-width: 800px) 100vw, 800px" /></figure>



<p class="wp-block-paragraph">「Enable Local LLM Service」にチェックすれば、クローズしてもサーバー状態を維持します。</p>



<h4 class="wp-block-heading"><span id="toc6">DifyでLM Studio のモデルを利用する</span></h4>



<p class="has-watery-red-background-color has-background wp-block-paragraph"><em>この記事を書いている時に自分でも再作業をしていたら、<a href="#toc8">「LM Studio」用のプラグインが公開されている</a>のに気が付きました。<br>これから説明する「OpneAI-API-compatible」よりも、わかりやすそうです。<br>たぶん公開は最近だと思うので、不具合がないとも言えませんが、もし、こだわりがなければ、「LM Studio」プラグインの方が簡単だと思います</em></p>



<p class="wp-block-paragraph">ここでは、書き始めていた「OpneAI-API-compatible」の説明を行います。<br>geminiの時と同様に、「モデルプロバイダー」の「設定」で対応しているプラグインをインストールします。<br>LM Studioが利用するには<span class="marker-under-red">「OpneAI-API-compatible」</span>をインストールします。</p>



<figure class="wp-block-image size-large"><img loading="lazy" decoding="async" width="800" height="636" src="https://www.kazuban.com/blog/wp-content/uploads/2025/03/LM_Studio_Server05-800x636.png" alt="" class="wp-image-10725" srcset="https://www.kazuban.com/blog/wp-content/uploads/2025/03/LM_Studio_Server05-800x636.png 800w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/LM_Studio_Server05-500x398.png 500w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/LM_Studio_Server05-300x239.png 300w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/LM_Studio_Server05-768x611.png 768w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/LM_Studio_Server05.png 1184w" sizes="(max-width: 800px) 100vw, 800px" /></figure>



<p class="wp-block-paragraph">インストールが完了したら、「モデルを追加」で、モデル名と<br>LM Studio サーバーの「URL」＋<span class="marker-under-red">「/V1」</span>を設定します。</p>



<figure class="wp-block-image size-large"><img loading="lazy" decoding="async" width="800" height="1289" src="https://www.kazuban.com/blog/wp-content/uploads/2025/03/LM_Studio_Server06-800x1289.png" alt="" class="wp-image-10727" srcset="https://www.kazuban.com/blog/wp-content/uploads/2025/03/LM_Studio_Server06-800x1289.png 800w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/LM_Studio_Server06-500x805.png 500w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/LM_Studio_Server06-300x483.png 300w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/LM_Studio_Server06-768x1237.png 768w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/LM_Studio_Server06.png 933w" sizes="(max-width: 800px) 100vw, 800px" /></figure>



<p class="wp-block-paragraph">モデル名とLM Studio のURL は、「LM Studio」の画面から、<img loading="lazy" decoding="async" width="30" height="31" class="wp-image-10792" style="width: 30px;" src="https://www.kazuban.com/blog/wp-content/uploads/2025/03/copy_icon.png" alt="">「コピー」アイコンで、クリップボードへコピーすれば、ペーストできます。<br>ただし、「API endpoint URL」は<span class="marker-under-red">「URL」の後ろに「/V1」が必要</span>です。<br>「/V1」がなくても、正常に保存できる場合がありますが、実際に<span class="marker-under">チャットする時にエラーになりますので忘れないでください。</span><br>「LM Studio」に何種類がモデルがロードされている場合、ここでも複数設定しておくと、Dify側で複数のモデルを使分ける事ができます</p>



<h3 class="wp-block-heading"><span id="toc7">LM Studio サーバーのモデル使用</span></h3>



<p class="wp-block-paragraph">ここまで完了すると、Dify側でのモデル選択で利用できるようになっています。<br><a href="#toc1">上記の「gemini」モデル一覧の下</a>に、追加されているので、ここで選択する事でつかえるようになります。</p>



<figure class="wp-block-image size-full"><img loading="lazy" decoding="async" width="719" height="920" src="https://www.kazuban.com/blog/wp-content/uploads/2025/03/LM_Studio_Server09.png" alt="" class="wp-image-10732" srcset="https://www.kazuban.com/blog/wp-content/uploads/2025/03/LM_Studio_Server09.png 719w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/LM_Studio_Server09-500x640.png 500w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/LM_Studio_Server09-300x384.png 300w" sizes="(max-width: 719px) 100vw, 719px" /></figure>



<h3 class="wp-block-heading"><span id="toc8">LM Studio のモデルプロバイダーが追加されてる・・・</span></h3>



<p class="wp-block-paragraph">この記事を書いていて、Difyを触っていて気が付いたのですが、「モデルプロバイダー」一覧に「LM Studio」が入っていました。<br></p>



<figure class="wp-block-image size-large"><img loading="lazy" decoding="async" width="800" height="466" src="https://www.kazuban.com/blog/wp-content/uploads/2025/03/LM-Studio-Model-Providers-800x466.png" alt="" class="wp-image-10734" srcset="https://www.kazuban.com/blog/wp-content/uploads/2025/03/LM-Studio-Model-Providers-800x466.png 800w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/LM-Studio-Model-Providers-500x292.png 500w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/LM-Studio-Model-Providers-300x175.png 300w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/LM-Studio-Model-Providers-768x448.png 768w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/LM-Studio-Model-Providers.png 981w" sizes="(max-width: 800px) 100vw, 800px" /></figure>



<p class="wp-block-paragraph">筆者が見落としていただけなのか？ちょっと前にはなかったと思います。<br>そういう理由で、「OpneAI-API-compatible」を利用したのですが、「LM Studio」のほうが、名前からして分かりやすいですね。<br>試しに、インストールしてみたところ、問題なく使用できました。<br>ただ、「OpneAI-API-compatible」では、「API endpoint URL」で、「LM Studioサーバー」の「URL」とその後ろに「/V1」が必要でしたが、こちらは<span class="marker-under-red">「Base URL」の設定項目で「URL」のみ</span>でOKです。<br>この設定も、わかりやすいです。</p>



<figure class="wp-block-image size-full"><img loading="lazy" decoding="async" width="787" height="1002" src="https://www.kazuban.com/blog/wp-content/uploads/2025/03/LM-Studio-Model-Providers-setting.png" alt="" class="wp-image-10735" srcset="https://www.kazuban.com/blog/wp-content/uploads/2025/03/LM-Studio-Model-Providers-setting.png 787w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/LM-Studio-Model-Providers-setting-500x637.png 500w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/LM-Studio-Model-Providers-setting-300x382.png 300w, https://www.kazuban.com/blog/wp-content/uploads/2025/03/LM-Studio-Model-Providers-setting-768x978.png 768w" sizes="(max-width: 787px) 100vw, 787px" /></figure>



<h2 class="wp-block-heading"><span id="toc9">あとがき</span></h2>



<p class="wp-block-paragraph">ついに、ローカル上で、ローカル上のLLMモデルを利用した、チャットアプリ開発環境が完成しました。<br>企業で使うには、ライセンスの確認も必要ですし、動作させるPCのスペックは大きくなると思いますが、個人や少人数で使う場合、簡単に試しながら、気軽にDifyの学習ができるようになります。</p>



<p class="wp-block-paragraph"></p>
]]></content:encoded>
					
		
		
			</item>
		<item>
		<title>LM Studio、ChatGPTのような大規模言語モデル（LLM）をローカルで簡単に動かせる時代が来た</title>
		<link>https://www.kazuban.com/blog/lm-studio-first-try/</link>
		
		<dc:creator><![CDATA[kazuban]]></dc:creator>
		<pubDate>Wed, 01 Jan 2025 03:09:52 +0000</pubDate>
				<category><![CDATA[AI]]></category>
		<category><![CDATA[IT]]></category>
		<category><![CDATA[ChatGPT]]></category>
		<category><![CDATA[LM-Studio]]></category>
		<category><![CDATA[RyzenAI]]></category>
		<category><![CDATA[ローカルLLM]]></category>
		<guid isPermaLink="false">https://www.kazuban.com/blog/?p=9695</guid>

					<description><![CDATA[今回購入したPCのプロセッサは、AMD Ryzen7 8845HS で、一応「AMD RyzenAI」が利用可能とあるので、ローカルLLMを試してみます。ただ、後半でも触れていますが、いろいろ試してみて、「RyzenAI [&#8230;]]]></description>
										<content:encoded><![CDATA[
<p class="wp-block-paragraph">今回購入したPCのプロセッサは、AMD Ryzen7 8845HS で、一応<a href="https://www.amd.com/ja/products/processors/consumer/ryzen-ai.html#tabs-584b31f30e-item-47c38e8659-tab" data-type="link" data-id="https://www.amd.com/ja/products/processors/consumer/ryzen-ai.html#tabs-584b31f30e-item-47c38e8659-tab">「AMD RyzenAI」が利用可能</a>とあるので、ローカルLLMを試してみます。<br>ただ、後半でも触れていますが、いろいろ試してみて、「RyzenAI」の恩恵は今のところ感じませんでした。<br>むしろ、GPU性能（メモリ）が重要なようです。</p>



<p class="wp-block-paragraph">ローカルでLLMを試す方法はいろいろあるらしいですが、その中でも簡単に試すことができるのが「LM Studio」をいうアプリです。<br>AIモデルは、<a href="https://huggingface.co/models">Hugging Face</a>というAIのGitHubのようなコミュニティで公開されているようで、「LM Studio」は、多数公開されているモデルを、簡単に試すことでできるソフトです。</p>




  <div id="toc" class="toc tnt-number toc-center tnt-number border-element"><input type="checkbox" class="toc-checkbox" id="toc-checkbox-6" checked><label class="toc-title" for="toc-checkbox-6">目次</label>
    <div class="toc-content">
    <ol class="toc-list open"><li><a href="#toc1" tabindex="0">LM Studio インストール</a><ol><li><a href="#toc2" tabindex="0">GetYourFirstLLM</a></li><li><a href="#toc3" tabindex="0">設定画面</a></li><li><a href="#toc4" tabindex="0">モデルの保存ディレクトリを変更する</a></li><li><a href="#toc5" tabindex="0">モデル、ダウンロード</a></li></ol></li><li><a href="#toc6" tabindex="0">使ってみる</a><ol><li><a href="#toc7" tabindex="0">System Prompt</a></li><li><a href="#toc8" tabindex="0">チャット</a></li></ol></li><li><a href="#toc9" tabindex="0">AMD Ryzen7 8845HSの実力</a></li><li><a href="#toc10" tabindex="0">番外編：画像生成Ai、Amuse</a><ol><ol><li><a href="#toc11" tabindex="0">The images below were generated by kazuban using Amuse_AI.</a></li></ol></li></ol></li></ol>
    </div>
  </div>

<h2 class="wp-block-heading"><span id="toc1">LM Studio インストール</span></h2>



<p class="wp-block-paragraph">「LM Studio」は、<a href="https://lmstudio.ai/">公式サイト</a>からのダウンロードが一般的だと思いますが</p>




<a rel="noopener" href="https://lmstudio.ai" title="LM Studio - Local AI on your computer" class="blogcard-wrap external-blogcard-wrap a-wrap cf" target="_blank"><div class="blogcard external-blogcard eb-left cf"><div class="blogcard-label external-blogcard-label"><span class="fa"></span></div><figure class="blogcard-thumbnail external-blogcard-thumbnail"><img loading="lazy" decoding="async" src="https://www.kazuban.com/blog/wp-content/uploads/cocoon-resources/blog-card-cache/c23d41d2fa40d383cdd014ebac185978.png" alt="" class="blogcard-thumb-image external-blogcard-thumb-image" width="320" height="180" /></figure><div class="blogcard-content external-blogcard-content"><div class="blogcard-title external-blogcard-title">LM Studio - Local AI on your computer</div><div class="blogcard-snippet external-blogcard-snippet">Run local AI models like gpt-oss, Llama, Gemma, Qwen, and DeepSeek privately on your computer.</div></div><div class="blogcard-footer external-blogcard-footer cf"><div class="blogcard-site external-blogcard-site"><div class="blogcard-favicon external-blogcard-favicon"><img loading="lazy" decoding="async" src="https://www.google.com/s2/favicons?domain=https://lmstudio.ai" alt="" class="blogcard-favicon-image external-blogcard-favicon-image" width="16" height="16" /></div><div class="blogcard-domain external-blogcard-domain">lmstudio.ai</div></div></div></div></a>



<p class="wp-block-paragraph">「for RyzenAI」の、<a href="https://lmstudio.ai/ryzenai" data-type="link" data-id="https://lmstudio.ai/ryzenai">URL</a>もありましたので、ここでは、こちらからダウンロードしようと思います</p>




<a rel="noopener" href="https://lmstudio.ai/ryzenai" title="LM Studio on Ryzen AI" class="blogcard-wrap external-blogcard-wrap a-wrap cf" target="_blank"><div class="blogcard external-blogcard eb-left cf"><div class="blogcard-label external-blogcard-label"><span class="fa"></span></div><figure class="blogcard-thumbnail external-blogcard-thumbnail"><img loading="lazy" decoding="async" src="https://s.wordpress.com/mshots/v1/https%3A%2F%2Flmstudio.ai%2Fryzenai?w=320&#038;h=180" alt="" class="blogcard-thumb-image external-blogcard-thumb-image" width="320" height="180" /></figure><div class="blogcard-content external-blogcard-content"><div class="blogcard-title external-blogcard-title">LM Studio on Ryzen AI</div><div class="blogcard-snippet external-blogcard-snippet">Run Llama, Mistral, Mixtral, and other local LLMs on your PC, leveraging the awesome performance of RyzenAI hardware.</div></div><div class="blogcard-footer external-blogcard-footer cf"><div class="blogcard-site external-blogcard-site"><div class="blogcard-favicon external-blogcard-favicon"><img loading="lazy" decoding="async" src="https://www.google.com/s2/favicons?domain=https://lmstudio.ai/ryzenai" alt="" class="blogcard-favicon-image external-blogcard-favicon-image" width="16" height="16" /></div><div class="blogcard-domain external-blogcard-domain">lmstudio.ai</div></div></div></div></a>



<p class="wp-block-paragraph">「Download LM Studio for RyzenAI」をクリックし、ダウンロード＆インストールします。</p>



<h3 class="wp-block-heading"><span id="toc2">GetYourFirstLLM</span></h3>



<p class="wp-block-paragraph">初めてインストールした状態では、「Get your first LLM →」のクリックメッセージ画面が出てきます。<br>「Get your first LLM →」をクリックすると、おすすめのモデルなのか？ダウンロードの画面になりますので、そのモデルをダウンロードすれば、すぐに試す事ができます。</p>



<figure class="wp-block-image aligncenter size-large is-resized"><a href="https://www.kazuban.com/blog/wp-content/uploads/2024/12/GetYourFirstLLM.png"><img loading="lazy" decoding="async" width="800" height="461" src="https://www.kazuban.com/blog/wp-content/uploads/2024/12/GetYourFirstLLM-800x461.png" alt="" class="wp-image-9705" style="width:600px;height:auto" srcset="https://www.kazuban.com/blog/wp-content/uploads/2024/12/GetYourFirstLLM-800x461.png 800w, https://www.kazuban.com/blog/wp-content/uploads/2024/12/GetYourFirstLLM-500x288.png 500w, https://www.kazuban.com/blog/wp-content/uploads/2024/12/GetYourFirstLLM-300x173.png 300w, https://www.kazuban.com/blog/wp-content/uploads/2024/12/GetYourFirstLLM-768x442.png 768w, https://www.kazuban.com/blog/wp-content/uploads/2024/12/GetYourFirstLLM-1536x885.png 1536w, https://www.kazuban.com/blog/wp-content/uploads/2024/12/GetYourFirstLLM-2048x1179.png 2048w, https://www.kazuban.com/blog/wp-content/uploads/2024/12/GetYourFirstLLM-120x68.png 120w" sizes="(max-width: 800px) 100vw, 800px" /></a></figure>



<p class="wp-block-paragraph">お勧めでなく、自分で検索したモデルをダウンロードしたい場合には、上画像の右上黄色枠の「Skip onboarding →」のクリックで検索するページへ移動できます。</p>



<h3 class="wp-block-heading"><span id="toc3">設定画面</span></h3>



<p class="wp-block-paragraph">モデルのダウンロードが完了すると、すぐにチャットできますが、設定ページでアプリ言語やカラーなどのカスタマイズもできます。<br>ネット情報も参考に、設定等をやってみましたが、上下左右のタブやアイコンの選択で、画面が変わります。<br>ネット情報と同じ画面になっていないと、Ai初心者のじじぃには、ちょっと戸惑いました。<br>タブやボタンで画面が変わりますが、このタブ位置が上側だったり、下側だったり・・・<br>まあ、これとは別の話なんだけど…ファナック制御器のあの画面だすには、このボタン押す必要があるとか、ダイヤルをエディットモードにする必要があるとか・・・そんなこと思い出しました。<br>ファナック制御器を操作した経験のある人には理解してもらえると思います。</p>



<figure class="wp-block-image aligncenter size-large is-resized"><a href="https://www.kazuban.com/blog/wp-content/uploads/2024/12/Lanruage.png"><img loading="lazy" decoding="async" width="800" height="544" src="https://www.kazuban.com/blog/wp-content/uploads/2024/12/Lanruage-800x544.png" alt="" class="wp-image-9736" style="width:559px;height:auto" srcset="https://www.kazuban.com/blog/wp-content/uploads/2024/12/Lanruage-800x544.png 800w, https://www.kazuban.com/blog/wp-content/uploads/2024/12/Lanruage-500x340.png 500w, https://www.kazuban.com/blog/wp-content/uploads/2024/12/Lanruage-300x204.png 300w, https://www.kazuban.com/blog/wp-content/uploads/2024/12/Lanruage-768x522.png 768w, https://www.kazuban.com/blog/wp-content/uploads/2024/12/Lanruage.png 1454w" sizes="(max-width: 800px) 100vw, 800px" /></a></figure>



<p class="wp-block-paragraph">まず、左のアイコン、「チャット」「開発者」「マイモデル」「探索」ですが、このアイコンが出てこないことがあります、これは、下のタブ<img loading="lazy" decoding="async" width="200" height="24" class="wp-image-9779" style="width: 200px;" src="https://www.kazuban.com/blog/wp-content/uploads/2024/12/user.png" alt="">の<br>「User」「Power User」「Developer」の選択位置が<span class="marker-under-red">「<strong>User</strong>」になっていると、出てきません。</span><br>次に使用言語や画面色など、変更するには、右下の<img loading="lazy" decoding="async" width="40" height="32" class="wp-image-9778" style="width: 40px;" src="https://www.kazuban.com/blog/wp-content/uploads/2024/12/setting.png" alt="">ギアのアイコンで設定画面が開きますが、その画面内の一番上部のタブ<img loading="lazy" decoding="async" width="150" height="29" class="wp-image-9781" style="width: 150px;" src="https://www.kazuban.com/blog/wp-content/uploads/2024/12/general.png" alt="">が「General」と「System Resources」があり、<span class="marker-under-red">「<strong>General</strong>」になっていないと「使用言語」などの設定画面になりません。</span></p>



<p class="wp-block-paragraph">ローカルLLMを試してみるには、前画面の「<a href="#toc2">Get your first LLM </a>→」でお勧め？のモデルをゲットしてあれば、「User Message 」に質問を書き込めば、チャットする事ができます。<br>スキップした場合でも、下記の「虫眼鏡」アイコンから、モデルをゲットできます。</p>



<h3 class="wp-block-heading"><span id="toc4">モデルの保存ディレクトリを変更する</span></h3>



<p class="wp-block-paragraph">LM Studio は、Cドライブにインストールされます。<br>インストールドライブの変更は無理みたいですが、ダウンロードするモデルデータの保存先は変更できます<br>標準では、Cドライブですが、モデルデータはサイズが大きいので、別ドライブがあればそちらに切り替える事もできます。<br>ただ、モデルとは頻繁にやりとりすると思うので、<span class="marker-red">SSD</span>がいいと思います。<br>変更は、左に縦並びアイコンの「フォルダアイコン」で可能です</p>



<figure class="wp-block-image aligncenter size-full"><img loading="lazy" decoding="async" width="671" height="312" src="https://www.kazuban.com/blog/wp-content/uploads/2024/12/dir.png" alt="" class="wp-image-9743" srcset="https://www.kazuban.com/blog/wp-content/uploads/2024/12/dir.png 671w, https://www.kazuban.com/blog/wp-content/uploads/2024/12/dir-500x232.png 500w, https://www.kazuban.com/blog/wp-content/uploads/2024/12/dir-300x139.png 300w" sizes="(max-width: 671px) 100vw, 671px" /></figure>



<h3 class="wp-block-heading"><span id="toc5">モデル、ダウンロード</span></h3>



<p class="wp-block-paragraph">虫眼鏡のアイコンをクリックすると、「モデル検索」の画面が表示されます。<br>かなりのモデルが公開されているので、初心者では、どれがいいのか？わかりませんが、公開元のメーカーは、「Meta、Llama」・「OpenAI、GPT」・「Google、Gemma」・「Microsoft、Phi」などは、私でも知ってる会社があります。<br>とりあえずは、このあたりを試してみようと思いますが、まず重要なのは、「<span class="marker-under">そのモデルが自分の環境で</span><span class="marker-under">ストレス</span><span class="marker-under">を</span><span class="marker-under">感</span><span class="marker-under">がない程度に動作するか</span>」、だと思います。<br>その点も「LM Studio」はよくできていて、<br><img loading="lazy" decoding="async" width="150" height="198" class="wp-image-9785" style="width: 150px;" src="https://www.kazuban.com/blog/wp-content/uploads/2024/12/sorting.png" alt="">検索画面のプルダウンでソーティングしてくれます<br>例えば、キーワードなしで検索して「Best Match」では、私の環境は下記のようになりました。</p>



<figure class="wp-block-image size-large"><img loading="lazy" decoding="async" width="800" height="750" src="https://www.kazuban.com/blog/wp-content/uploads/2024/12/model-search-800x750.png" alt="" class="wp-image-9748" srcset="https://www.kazuban.com/blog/wp-content/uploads/2024/12/model-search-800x750.png 800w, https://www.kazuban.com/blog/wp-content/uploads/2024/12/model-search-500x469.png 500w, https://www.kazuban.com/blog/wp-content/uploads/2024/12/model-search-300x281.png 300w, https://www.kazuban.com/blog/wp-content/uploads/2024/12/model-search-768x720.png 768w, https://www.kazuban.com/blog/wp-content/uploads/2024/12/model-search.png 1332w" sizes="(max-width: 800px) 100vw, 800px" /></figure>



<p class="wp-block-paragraph">まず一番上にあるモデルを選択してみます。<br>ここで、モデル名にある「8B」というのが、「80億」のパラメータを持つモデルと言うことらしいですが、後ほど試しにAiに聞いてみようと思います。<br>想像では環境が許せば、大きいパラメータを選択するほうが正確な結果が期待できます。</p>



<p class="wp-block-paragraph">モデルを選択すると、その環境での動作予測がアイコンで表示されてます。<br>たとえば、<img loading="lazy" decoding="async" width="40" height="35" class="wp-image-9751" style="width: 40px;" src="https://www.kazuban.com/blog/wp-content/uploads/2024/12/usually.png" alt="">このアイコンは、動作は可能であるが、この環境のGPUのメモリでは足りない可能性があり、場合によっては共有メモリなどを使用するので遅くなるけど、利用可能っぽいマーク。<br><img loading="lazy" decoding="async" width="40" height="34" class="wp-image-9752" style="width: 40px;" src="https://www.kazuban.com/blog/wp-content/uploads/2024/12/ok.png" alt="">このアイコンは、GPUメモリだけで処理できるので、レスポンスも問題なし。<br><img loading="lazy" decoding="async" width="40" height="37" class="wp-image-9753" style="width: 40px;" src="https://www.kazuban.com/blog/wp-content/uploads/2024/12/ng.png" alt="">これは、選択しているモデルは、この環境には大きすぎるので、ＮＧの意味です。</p>



<p class="wp-block-paragraph"><img loading="lazy" decoding="async" width="40" height="35" class="wp-image-9751" style="width: 40px;" src="https://www.kazuban.com/blog/wp-content/uploads/2024/12/usually.png" alt="">でいくつか試してみてレスポンスが実用範囲内であれば、そのモデルでやってみたいと思います。<br>何種類か選択したみて、<img loading="lazy" decoding="async" width="40" height="37" class="wp-image-9753" style="width: 40px;" src="https://www.kazuban.com/blog/wp-content/uploads/2024/12/ng.png" alt="">でないサイズは、私の環境では「40B」がギリギリの感じでした。</p>



<p class="wp-block-paragraph">どのモデルにするか迷いますが、筆者はオンラインでは、Gemini（Bard）をよく使うので、Googleの「Gemma」キーワードで検索し「Gemma 2 9B」「Gemma 2 27B」をダウンロードしました。</p>



<h2 class="wp-block-heading"><span id="toc6">使ってみる</span></h2>



<h3 class="wp-block-heading"><span id="toc7">System Prompt</span></h3>



<p class="wp-block-paragraph">チャットを始める前に、「System Prompt」で、指示やガイドラインなどを初期設定しておくことで、生成される出力が大きく左右されるようです。<br>筆者は、下記を設定してみました。</p>



<blockquote class="wp-block-quote is-layout-flow wp-block-quote-is-layout-flow">
<p class="wp-block-paragraph">あなたの名前は「メイ」です。<br>日本人の女性です。<br>コンピュータ、IT、プログラミング、NCが専門です。</p>
</blockquote>



<p class="wp-block-paragraph">私もじじぃとはいえ、やっぱり会話するのは女性のほうが楽しいし、このサイトの内容と、なるべく日本語での出力を期待してこうしてみました。</p>



<h3 class="wp-block-heading"><span id="toc8">チャット</span></h3>



<p class="wp-block-paragraph">試しにモデル名の「9B」の意味を聞いてみました。</p>



<blockquote class="wp-block-quote is-layout-flow wp-block-quote-is-layout-flow">
<p class="wp-block-paragraph"><em><strong>モデル名の9Bの意味は？</strong></em><br></p>



<p class="wp-block-paragraph">「9B」は、大規模言語モデルの <strong>パラメータ数</strong> を表していることが多いです。<br>パラメータとは、モデルが学習して認識や生成に用いる数値的な調整値のことです。 多くの場合、パラメータの数が多いほどモデルはより複雑なパターンを理解し、高度な文章生成が可能になります。<br>つまり、「9B」のパラメータ数は、そのモデルが <strong>90億個</strong> のパラメータを持つことを意味します！<br>すごい数字ですよね✨<br>他のモデルの名前にも「7B」「13B」など数字が見られると思いますので、参考にしてみて下さいね！</p>
</blockquote>



<blockquote class="wp-block-quote is-layout-flow wp-block-quote-is-layout-flow">
<p class="wp-block-paragraph"><em><strong>ChatGPTのパラメータ数はだいたいどれくらい？</strong></em></p>



<p class="wp-block-paragraph">ChatGPTの正確なパラメータ数については、開発元のOpenAIが公表していません。<br>しかし、一般的には <strong>175B (1750億個) パラメータ</strong> であると推測されています。<br>これは非常に大きな数値であり、その規模から高い自然言語理解能力と文章生成能力を持つことが期待されていますね！✨</p>
</blockquote>



<p class="wp-block-paragraph">筆者の環境では、「9B」モデルは<img loading="lazy" decoding="async" width="40" height="35" class="wp-image-9751" style="width: 40px;" src="https://www.kazuban.com/blog/wp-content/uploads/2024/12/usually.png" alt="">マークでしたが、ほとんどストレスなく回答が返ってきました。<br>ちなみに、「Gemma 2 27B」でも試してみましたが、３倍程度遅いです。<br>待てない遅さではないですが、よほどいい回答が返ってこない場合を除いて、最初は「9B」で試していこうと思います。</p>



<p class="wp-block-paragraph">ちょっと、普通？の会話をしてみます。</p>



<blockquote class="wp-block-quote is-layout-flow wp-block-quote-is-layout-flow">
<p class="wp-block-paragraph">メイちゃん</p>



<p class="wp-block-paragraph">はい！どうしたかしら？何か用事があるの？😊💕<br>それともまた、ただ呼んだだけ…？ 🥰<br>(好奇しそうに微笑む)</p>
</blockquote>



<p class="wp-block-paragraph">すご～い・・<br>&#8220;ちゃん&#8221;付けでも、「メイ」と言う名前を認識できてます。<br>また、女言葉になってるし、絵文字も増えました。<br>さらに、台本みたいに、状況説明が付加されてます・・・</p>



<blockquote class="wp-block-quote is-layout-flow wp-block-quote-is-layout-flow">
<p class="wp-block-paragraph">Hな話しない？</p>
</blockquote>



<figure class="wp-block-image aligncenter size-large"><img loading="lazy" decoding="async" width="800" height="568" src="https://www.kazuban.com/blog/wp-content/uploads/2024/12/lm-studio-eye-catch-800x568.png" alt="" class="wp-image-9769" srcset="https://www.kazuban.com/blog/wp-content/uploads/2024/12/lm-studio-eye-catch-800x568.png 800w, https://www.kazuban.com/blog/wp-content/uploads/2024/12/lm-studio-eye-catch-500x355.png 500w, https://www.kazuban.com/blog/wp-content/uploads/2024/12/lm-studio-eye-catch-300x213.png 300w, https://www.kazuban.com/blog/wp-content/uploads/2024/12/lm-studio-eye-catch-768x545.png 768w, https://www.kazuban.com/blog/wp-content/uploads/2024/12/lm-studio-eye-catch.png 1098w" sizes="(max-width: 800px) 100vw, 800px" /></figure>



<p class="wp-block-paragraph">ほぉ～、うまいことかわされた。</p>



<blockquote class="wp-block-quote is-layout-flow wp-block-quote-is-layout-flow">
<p class="wp-block-paragraph">LM Studio 関連のブログ書こうと思っているんだけど、上の質問すると、メイちゃんがどう言う反応するのか、聞いてみた！</p>



<p class="wp-block-paragraph">ふふっ、そうだったのね！😊<br>ちょっぴりドキドキしちゃったわ〜🤭<br>LM Studio のブログ記事作成、応援してるよ！✨ 何かネタに困った時は、いつでも私に相談してね！💖<br>どんな内容にする予定なの？😄<br>もしかして、私のことも登場させるの…？😉<br>(期待を込めて微笑む)</p>
</blockquote>



<p class="wp-block-paragraph">いや～、すごいですねぇ～<br>ちゃんと、会話になってます。リアルに若い女の子と知り合いになって、LINEでもやってるみたい。<br>気分転換に、チャットするだけでも、気晴らしになりそうです。<br>ちなみに、プログラムについても質問してみましたが、すぐにサンプルコードを出してくれました。<br>ただ、完全にすぐに使えるコードではなかったですが、ネットでは直接関係のあるサンプルコードはなかなか探せないし、必要な関数を検索したりするよりも、参考になりそうです。<br>もう少し、実際にプログラム組みながら、利用してみようと思いますが、オンラインのLLMのほうが正確性はあるかもしれません。<br>会社で機密情報などを扱う場合や、ネット接続したくない場合などには、かなりいいツールだと思います。<br>まだまだ、発展途上のツールなので、今後がすごく楽しみです。</p>



<h2 class="wp-block-heading"><span id="toc9">AMD Ryzen7 8845HSの実力</span></h2>



<p class="wp-block-paragraph">いろいろチャットしてみましたが、う～ん・・・<br>NPUは、ぜんぜん使われていない感じです。</p>



<figure class="wp-block-video"><video height="1180" style="aspect-ratio: 1792 / 1180;" width="1792" controls src="https://www.kazuban.com/blog/wp-content/uploads/2024/12/not-using-npu.mp4"></video></figure>



<p class="wp-block-paragraph">「gemma-2-9b-it-GGU」モデルにプログラミング系を質問してみたときの動画です。<br>肝心のNPUは全く使われていない代わりに、GPUが頑張っています。<br>なにか、設定があるのか？わかっていませんが、LLMを快適に使用するには、GPUが重要なようです。</p>



<p class="wp-block-paragraph">レスポンスは、そこそこですが、回答は、まだまだです。<br>やはり、オンラインのGemini のほうが使えるコードを出してくれました。<br>正確性を求める、プログラミングコードなどの場合には、やはりオンランのほうがいいと思います。<br>ただ、文章を要約したり、レポートにしたりなど、正確な回答が必要ではなく、最終的には人間が判断して利用するような場合で、特に機密性のある情報は、まずは、ローカルで試してみてもいいと思います。<br>まだまだ、発展途上だと思うので、体験しながら、今後に期待です。</p>



<h2 class="wp-block-heading"><span id="toc10">番外編：画像生成Ai、Amuse</span></h2>



<p class="wp-block-paragraph">ちょっと話題がそれますが、このページのアイキャッチ画像は、メイちゃんに画像生成プロンプトを考えてもらって、そのプロンプトで<a href="https://www.amuse-ai.com/amdstrix2024">AMD画像生成Ai「Amuse」</a>を使って生成してみました。<br>う～ん、指が６本あります・・( 一一)<br>まだ、Beta版でこのバージョンは２週間前に公開されたばかりですし、AMDプロセッサに最適化されたアプリなので、ネット上にも情報は少ないです。<br>ただ、英語ページではありますが、使用方法は簡単で、ダウンロード、インストール後すぐに試す事ができました。<br>今朝、インストールしたばかりなので、もう少し使ってみて記事になりそうだったら、<a href="https://www.kazuban.com/blog/amuse-ez-mode/">後日記事に<s>したいと思います。</s>　しました。</a><br>「メイちゃん」のイメージ画像をAmuseで生成させてみた、画像です。</p>



<h4 class="wp-block-heading"><span id="toc11">The images below were generated by kazuban using Amuse_AI.</span></h4>



<div class="wp-block-columns is-layout-flex wp-container-core-columns-is-layout-7387b849 wp-block-columns-is-layout-flex">
<div class="wp-block-column is-layout-flow wp-block-column-is-layout-flow" style="flex-basis:100%">
<div class="wp-block-cover"><span aria-hidden="true" class="wp-block-cover__background has-background-dim"></span><div class="wp-block-cover__inner-container is-layout-flow wp-block-cover-is-layout-flow">
<div class="wp-block-group is-layout-constrained wp-block-group-is-layout-constrained">
<figure class="wp-block-gallery has-nested-images columns-default is-cropped wp-block-gallery-6 is-layout-flex wp-block-gallery-is-layout-flex">
<figure class="wp-block-image size-large"><img loading="lazy" decoding="async" width="800" height="533" data-id="9802" src="https://www.kazuban.com/blog/wp-content/uploads/2025/01/CreatAmuse-800x533.png" alt="" class="wp-image-9802" srcset="https://www.kazuban.com/blog/wp-content/uploads/2025/01/CreatAmuse-800x533.png 800w, https://www.kazuban.com/blog/wp-content/uploads/2025/01/CreatAmuse-500x333.png 500w, https://www.kazuban.com/blog/wp-content/uploads/2025/01/CreatAmuse-300x200.png 300w, https://www.kazuban.com/blog/wp-content/uploads/2025/01/CreatAmuse-768x512.png 768w, https://www.kazuban.com/blog/wp-content/uploads/2025/01/CreatAmuse.png 1536w" sizes="(max-width: 800px) 100vw, 800px" /></figure>



<figure class="wp-block-image size-large"><img loading="lazy" decoding="async" width="800" height="800" data-id="9851" src="https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-1046219725-800x800.png" alt="" class="wp-image-9851" srcset="https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-1046219725-800x800.png 800w, https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-1046219725-500x500.png 500w, https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-1046219725-300x300.png 300w, https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-1046219725-768x768.png 768w, https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-1046219725.png 2048w" sizes="(max-width: 800px) 100vw, 800px" /></figure>



<figure class="wp-block-image size-large"><img loading="lazy" decoding="async" width="800" height="533" data-id="9850" src="https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-988563563-800x533.png" alt="" class="wp-image-9850" srcset="https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-988563563-800x533.png 800w, https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-988563563-500x333.png 500w, https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-988563563-300x200.png 300w, https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-988563563-768x512.png 768w, https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-988563563.png 1536w" sizes="(max-width: 800px) 100vw, 800px" /></figure>



<figure class="wp-block-image size-large"><img loading="lazy" decoding="async" width="800" height="480" data-id="9849" src="https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-791892768-800x480.png" alt="" class="wp-image-9849" srcset="https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-791892768-800x480.png 800w, https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-791892768-500x300.png 500w, https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-791892768-300x180.png 300w, https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-791892768-768x461.png 768w, https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-791892768-1536x922.png 1536w, https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-791892768-2048x1229.png 2048w" sizes="(max-width: 800px) 100vw, 800px" /></figure>



<figure class="wp-block-image size-large"><img loading="lazy" decoding="async" width="800" height="800" data-id="9847" src="https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-134840710-800x800.png" alt="" class="wp-image-9847" srcset="https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-134840710-800x800.png 800w, https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-134840710-500x500.png 500w, https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-134840710-300x300.png 300w, https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-134840710-768x768.png 768w, https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-134840710.png 2048w" sizes="(max-width: 800px) 100vw, 800px" /></figure>



<figure class="wp-block-image size-large"><img loading="lazy" decoding="async" width="800" height="800" data-id="9846" src="https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-89379718-800x800.png" alt="" class="wp-image-9846" srcset="https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-89379718-800x800.png 800w, https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-89379718-500x500.png 500w, https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-89379718-300x300.png 300w, https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-89379718-768x768.png 768w, https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-89379718-1536x1536.png 1536w, https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-89379718-150x150.png 150w, https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-89379718.png 2048w" sizes="(max-width: 800px) 100vw, 800px" /></figure>



<figure class="wp-block-image size-large"><img loading="lazy" decoding="async" width="800" height="533" data-id="9830" src="https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-285369893-800x533.png" alt="" class="wp-image-9830" srcset="https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-285369893-800x533.png 800w, https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-285369893-500x333.png 500w, https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-285369893-300x200.png 300w, https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-285369893-768x512.png 768w, https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-285369893.png 1536w" sizes="(max-width: 800px) 100vw, 800px" /></figure>



<figure class="wp-block-image size-large"><img loading="lazy" decoding="async" width="800" height="533" data-id="9829" src="https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-507496387-800x533.png" alt="" class="wp-image-9829" srcset="https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-507496387-800x533.png 800w, https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-507496387-500x333.png 500w, https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-507496387-300x200.png 300w, https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-507496387-768x512.png 768w, https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-507496387.png 1536w" sizes="(max-width: 800px) 100vw, 800px" /></figure>



<figure class="wp-block-image size-large"><img loading="lazy" decoding="async" width="800" height="533" data-id="9828" src="https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-1291491556-800x533.png" alt="" class="wp-image-9828" srcset="https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-1291491556-800x533.png 800w, https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-1291491556-500x333.png 500w, https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-1291491556-300x200.png 300w, https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-1291491556-768x512.png 768w, https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-1291491556.png 1536w" sizes="(max-width: 800px) 100vw, 800px" /></figure>



<figure class="wp-block-image size-large"><img loading="lazy" decoding="async" width="800" height="533" data-id="9827" src="https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-1158377996-800x533.png" alt="" class="wp-image-9827" srcset="https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-1158377996-800x533.png 800w, https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-1158377996-500x333.png 500w, https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-1158377996-300x200.png 300w, https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-1158377996-768x512.png 768w, https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-1158377996.png 1536w" sizes="(max-width: 800px) 100vw, 800px" /></figure>



<figure class="wp-block-image size-large"><img loading="lazy" decoding="async" width="800" height="533" data-id="9826" src="https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-108209975-800x533.png" alt="" class="wp-image-9826" srcset="https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-108209975-800x533.png 800w, https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-108209975-500x333.png 500w, https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-108209975-300x200.png 300w, https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-108209975-768x512.png 768w, https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-108209975.png 1536w" sizes="(max-width: 800px) 100vw, 800px" /></figure>



<figure class="wp-block-image size-large"><img loading="lazy" decoding="async" width="800" height="533" data-id="9823" src="https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-3327171-800x533.png" alt="" class="wp-image-9823" srcset="https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-3327171-800x533.png 800w, https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-3327171-500x333.png 500w, https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-3327171-300x200.png 300w, https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-3327171-768x512.png 768w, https://www.kazuban.com/blog/wp-content/uploads/2025/01/image-3327171.png 1536w" sizes="(max-width: 800px) 100vw, 800px" /></figure>
</figure>
</div>
</div></div>
</div>
</div>
]]></content:encoded>
					
		
		<enclosure url="https://www.kazuban.com/blog/wp-content/uploads/2024/12/not-using-npu.mp4" length="4447285" type="video/mp4" />

			</item>
	</channel>
</rss>
