ローカルLLMで「自社専用AI」をつくるオレンジソフトウェアの新しい取り組み

こんにちは。オレンジソフトウェアの藤田です。

ChatGPTをはじめとする生成AIは、文章作成、要約、調査、プログラミング、データ分析など、さまざまな仕事で利用されるようになりました。

株式会社オレンジソフトウェアでも、AIはすでに「将来使うかもしれない技術」ではありません。ソフトウェア開発、SEO対策、自社サービスの開発、プログラミング教育など、実際の仕事の中でAIを活用しています。

その中で私たちが次に取り組んでいるのが、**「会社の中に、自社専用のAIをつくれないか」**という研究です。

現在主流のChatGPTやClaude、GeminiなどのAIサービスは、インターネットを経由してクラウド上のAIを利用します。非常に高性能で便利な一方、企業で本格的に利用しようとすると、情報管理や利用料金について考えなければならない場面も出てきます。

そこでオレンジソフトウェアでは、外部のAIサービスだけに依存するのではなく、自社が管理するパソコンやサーバー上でAIを動かす「ローカルLLM」の検証を始めました。実際にローカルLLMを動かすための機器を導入し、社内でモデルを動かしながら検証しています。

そして、私たち自身が実際の業務で使い、中小企業でも十分に使えるレベルにあると判断できれば、企業向けの「自社専用AI」としてサービス化することも検討しています。

オレンジソフトウェアは、すでにAIを実務で使っています

私たちが重要だと考えているのは、AIについて知っていることと、AIを実際の業務で使えることは違うということです。AIは非常に便利ですが、間違った回答をすることもあれば、期待していたほど効率化できない仕事もあります。逆に、人間が長い時間をかけていた作業をAIによって大幅に短縮できる場合もあります。

こうした感覚は、実際の業務で使い続けることで少しずつ分かってきます。オレンジソフトウェアでは、AIを単なるチャットツールではなく、実際の仕事を支援する技術として利用しています。

ソフトウェア開発では、Claude CodeやOpenAI CodexなどのAI開発支援ツールを実際の開発工程で利用しています。新しいプログラムの作成だけではなく、既存コードの解析、不具合の原因調査、テストコードの作成、仕様整理、ドキュメント作成など、利用範囲は広がっています。一方で、AIが生成したプログラムが本当に正しいのか、セキュリティ上の問題はないのか、業務要件を満たしているのかといった判断は、システム全体を理解した人間が行っています。

SEO対策でも、検索キーワードの調査、競合サイトの分析、記事構成の検討などにAIを活用しています。ただし「AIに記事を書かせればSEO対策になる」とは考えていません。AIは一般的な文章を作ることは得意ですが、「その会社だから書ける情報」を最初から持っているわけではないからです。実際にローカルLLM用の機器を導入して検証しているという経験そのものが、私たちにしか書けないコンテンツになります。

自社サービスの開発でも、文章から必要な情報を取り出す、大量の情報を整理するといった処理にAIを活用しています。ただし、抽出結果の形式チェックやデータベース登録、重要な数値の計算については、従来のプログラムで確実に処理したほうが適している場合があります。

AI教育にも取り組んでおり、GAプログラミングのAIコースとして、AIを活用したプログラミングを教えています。実際の開発現場でAIを利用する経験を、教育にも生かしています。

そして次に研究しているのが「ローカルLLM」

クラウドAIを日常的に利用するようになると、その便利さと同時に課題も見えてきました。特に大きいと感じているのが、コストと情報管理です。

開発業務では、大量のソースコードや仕様書を読み込ませたり、AIエージェントが何度も処理を繰り返したりします。AIの利用範囲が広がるほど、月額料金やAPI利用料も積み重なります。また、クラウドサービスである以上、料金体系や提供モデルが変更される可能性もあります。

そこで私たちは、**「クラウドでなくてもできる仕事を、自社のコンピューターで処理できないか」**と考えるようになりました。

LLM(Large Language Model・大規模言語モデル)は、質問への回答、文章作成、要約、翻訳、分類、プログラミングなどを行うAIです。一般的なクラウド型AIでは入力した情報をインターネット経由でサービス提供者の環境へ送りますが、ローカルLLMでは、AIモデルそのものを自社のパソコンやサーバーへ配置して動かします。構成によっては、処理を社内ネットワーク内で完結させることも可能です。

ただし「ローカルだから安全」というわけではありません。利用者の権限、ネットワーク、会話履歴、アクセスログ、端末そのもののセキュリティまで含めて設計する必要があります。また、巨大なAIをゼロから開発・学習させる必要もありません。公開されているモデルを自社環境で動かし、社内資料を検索する仕組みや既存システムとの連携を追加することで、企業ごとの用途に合わせたAIを構築できます。

ローカルLLM用のパソコンを実際に導入

オレンジソフトウェアでは、調査だけではなく、実際に検証するためのパソコンを導入しています。採用したのは、Apple SiliconのM2世代プロセッサと大容量ユニファイドメモリを搭載したMacです。

なぜ最新世代ではなく、M2世代を選んだのか

ローカルLLM用の機器を検討するとき、私たちが特に重視したのがメモリの帯域幅(データを読み書きする速さ)と価格のバランスでした。

LLMには数十億〜数百億のパラメータがあり、モデルを動かすためにはそのデータをメモリへ読み込む必要があります。GPUの計算速度が速くても、メモリからデータを渡す速度(メモリ帯域幅)が遅ければ、結局そこがボトルネックになります。特にモデルサイズが大きくなるほど、この帯域幅の影響は大きくなります。

Apple SiliconはCPUとGPUが同じユニファイドメモリを共有する構造で、チップのグレード(無印/Pro/Max/Ultra)によって、搭載できるメモリ容量とメモリ帯域幅が大きく変わります。そして重要なのは、世代が新しいほど帯域幅が高いとは限らないという点です。最上位の「Ultra」構成は、世代をまたいでも軒並み高い帯域幅を維持する傾向があり、最新世代の「Max」構成より、型落ち世代の「Ultra」構成のほうが帯域幅で上回る場合があります。

検討時に比較した構成の傾向は、次のようなイメージです(構成や販売時期によって変動します)。

私たちが検証段階で求めていたのは、「今、最速のAIを動かせること」ではなく、「実務で使えるモデルサイズを、無理のない予算で試せること」でした。最新世代のMax構成は帯域幅が伸び悩む一方、最新世代のUltra構成は非常に高価です。そこで、帯域幅では最新のUltra構成に近い水準を確保しながら、価格を抑えられる型落ち世代のM2 Ultra/M2 Max構成を検証用として選定しました。

なお、この選定はあくまで社内検証段階での判断です。企業向けにサービス化する際には、用途や予算に応じて最新世代を含めた構成を改めて検討します。

オープンなAIモデルを実際に動かして検証

オレンジソフトウェアでは、導入した環境で実際にローカルLLMを動かしています。私たちが確認したいのは、単純なベンチマークの数字だけではありません。重要なのは、**「実際の仕事で使えるのか」**です。

日本語で自然に回答できるか、文章を適切に要約できるか、プログラミングに利用できるか、社内資料を検索させた場合に必要な情報を取り出せるか、回答速度は実務上問題ないか、といった観点から検証しています。

大きなモデルほど良いとも限りません。簡単な文章分類や情報抽出であれば、小さなモデルでも十分な場合があり、処理速度が速く、必要なメモリや消費電力も少なくできます。そのため、「最も高性能なモデルを動かすこと」ではなく、業務ごとに必要十分なモデルを選択できるかという点も重要だと考えています。

実際の処理速度や精度の実測データについては、現在検証を継続しています。ある程度まとまり次第、改めてご紹介する予定です。

目標は「会社のことを知っているAI」

私たちが考えているローカルLLMの用途の一つが、社内資料との連携です。業務マニュアル、議事録、見積資料、技術資料、過去案件の情報など、会社には大量の情報がありますが、資料が増えるほど「必要な情報がどこにあるのか分からない」という問題も発生します。

そこでLLMと社内検索を組み合わせます。この方法はRAG(検索拡張生成)と呼ばれ、AIモデルそのものへ会社の情報をすべて再学習させるのではなく、質問されたときに関連資料を検索し、その情報をAIへ渡して回答させます。資料の追加や更新にも対応しやすいのが特徴です。

flowchart LR
    A[社員が質問する] --> B[社内資料を検索]
    B --> C[関連資料を抽出]
    C --> D[ローカルLLMが回答を生成]
    D --> E[根拠となった資料を示して回答]

情報を外へ出しにくい仕事にもAIを

顧客情報、契約情報、未公開の企画、ソースコードなど、外部のAIサービスへそのまま送信することに慎重になる情報は少なくありません。ローカルLLMで処理を社内環境に限定できれば、外部へ送信する情報そのものを減らすことができ、情報漏洩のリスクを抑えながらAIを利用できる可能性があります。

もちろん、AIモデルをローカルへ置くだけでは十分ではありません。利用者ごとの権限管理、アクセス制御、ネットワーク、ログ、バックアップまで含めたシステム全体のセキュリティ設計が必要です。ここは、これまで業務システムやWebシステムを開発してきたオレンジソフトウェアの経験を生かせる部分でもあります。

既存の業務システムとAIをつなぐ

私たちが特に可能性を感じているのが、AIと既存の業務システムを組み合わせることです。オレンジソフトウェアでは、POSレジ、顧客・名刺管理、生徒管理、Webシステムなどを開発してきました。

例えばPOSとAIを組み合わせれば「今月の売上の特徴をまとめて」、顧客管理であれば「この問い合わせを要約して」「返信文の下書きを作って」といった処理が考えられます。

重要なのは、AIへすべての処理を任せることではありません。役割を分けることで、より安全で実用的なAIシステムにできると考えています。

flowchart TB
    Q[業務システムへの依頼・質問] --> AI[AI: 文章の理解・要約・下書き作成]
    AI --> P[プログラム: 正確な計算・データ登録]
    P --> H[人間: 重要な判断・最終承認]
    H --> R[処理を実行]

今後さらに重要になると考えているのがAIエージェントです。これまでのAIは人間が質問してAIが回答するという使い方が中心でしたが、現在は、AIが必要なファイルを探し、情報を整理し、複数の作業を進める方向へ発展しています。私たちが実際のソフトウェア開発で使用しているAI開発支援ツールでも、この変化を感じています。ただし、AIができることが増えるほど権限管理は重要になります。閲覧のみ許可するのか、下書き作成まで許可するのか、データ変更には人間の承認を必須とするのか、AIの操作をログとして残す仕組みも含めて設計が必要です。

クラウドAIとローカルLLM、使い分けの考え方

オレンジソフトウェアでは、クラウドAIをローカルLLMへ完全に置き換えようとしているわけではありません。私たち自身、現在もクラウドAIを積極的に利用しています。

つまり「クラウドAIかローカルAIか」という二者択一ではなく、適材適所で組み合わせるという考え方です。このハイブリッド型は性能・コスト・情報管理のバランスを取りやすく、中小企業にとって現実的な選択肢の一つになる可能性があると考えています。

検証だけで終わらせず、サービス化も視野に

オレンジソフトウェアがローカルLLMを研究している目的は、技術的な興味だけではありません。自社を最初の検証環境としてローカルLLMを実際に動かし、「本当に会社の業務で使えるのか」を確認しています。そして、企業へ提供できるレベルにあると判断できれば、企業向けサービスとして提供することも検討しています。

構想しているのは、単純にAI用パソコンを販売するサービスではなく、どの情報をAIへ扱わせるのか、どの資料を検索対象にするのか、誰が利用できるのか、既存システムと連携するのか、クラウドAIと併用するのか。こうした条件は企業によって異なるため、その会社の業務や情報管理の方針に合わせた、**「自社専用AI」**の環境を構築することを想定しています。

サービス化を検討するうえで注目しているのが、情報漏洩リスクとAIの継続的な利用コストです。ただし「ローカルLLMなら必ず安い」というものではなく、機器の購入費や電気代、保守費も必要になります。毎日大量の社内資料を処理する、多数の社員が繰り返しAIを利用するといった用途では一部をローカルLLMへ移すことでコストを抑えられる可能性がありますが、利用頻度が少ない企業ならクラウドAIを利用したほうが合理的な場合もあります。単純にローカルLLMを販売するのではなく、情報漏洩リスク・継続コスト・実務に必要な性能のバランスが重要だと考えています。

中小企業にも「自社専用AI」がある時代へ

飲食店ならメニューや店舗マニュアルを理解するAI、教室なら授業記録や教材を検索できるAI、製造業なら機械のマニュアルや作業手順を探せるAI、システム開発会社なら仕様書や過去案件、ソースコードを検索できるAI。同じLLMを使ったとしても、会社によって必要なAIはまったく違います。

だからこそ、「最も高性能なAIを導入すればよい」のではなく、その会社に必要なモデル、必要なデータ、必要なセキュリティ、必要な速度、そして予算を組み合わせて設計することが重要になります。

大阪から、中小企業でも使えるAIを

AIという言葉をホームページへ掲載するだけなら簡単です。しかし、オレンジソフトウェアが大切にしているのは、実際に使うことです。AIを使ってソフトウェアを開発する。SEOにも活用する。自社サービスへAIを組み込む。AIを使ったプログラミングを教える。そして、自分たちでAIを動かすための機器を導入し、ローカルLLMを社内で検証する。

実際に使うことで、「この仕事にはAIが向いている」「ここは人間が確認する必要がある」「この処理なら小さなモデルでも十分」といった知識が蓄積されていきます。私たちは、この経験そのものが、お客様へAIを提案するときの重要な技術になると考えています。

現在取り組んでいるローカルLLMも、その一つです。まだ企業向けサービスとして完成したものではなく、現在は社内での検証段階です。しかし、私たち自身が使えるレベルに達し、情報管理や費用面を含めて企業へ提供する価値があると判断できれば、「会社の中で動く、自社専用AI」 としてサービス化することを検討しています。

「社内資料をAIで検索したい」「顧客情報を外部のAIへ送らずに活用したい」「自社システムへAIを組み込みたい」「クラウドAIの利用料金を抑えたい」。このような企業へ、これまで培ってきたソフトウェア開発の経験と、実際のAI活用で得た知識を組み合わせ、システム、データベース、AI、セキュリティまで含めた提案ができることを目指しています。