ChatGPTからLibreChatでCohere Command R+に切り替える。

去年一年くらいずっとChatGPT Pro？（月$20のやつ）使ってて全然困らなかったんだけど、毎月毎月$20取られるのもなーと思い今年の初めくらいに案件がちょっと落ち着いたのもあって一度ChatGPTの課金を切って、今度はGPT-4より賢いらしい（？） Claude3 opusを無料枠でちょいちょい使ってたんだけど、そっちもそろそろ課金しなきゃなーってなってる頃にちょうどこんな記事が流れてきたので、

LibreChat で Command R+ を使えるようにする

おぉ、DockerもLibreChatも全然知らんけどローカルで動かすんか〜ええやん〜思ってやってみた。
（Dockerでローカルで動くけどAPI叩いてるから特に全部Localという訳でもない）

記事に大体書いてあるので以下内容はほぼ割愛できるけど、記事が出て1週間くらいでもうセットアップ方法とかが違ってて
とりあえずLocalでDockerで動けばいいよって人向けに備忘録。

API Keyの取得

使うAIのエンドポイントはCohere　Command R+。GPT-4と同じ位の性能？で価格半分とからしい。ええ時代。
API Keyの取得先にやっとく。Trial keyでいいらしい。（←ここポイント高）

LibreChat setup

LibreChatは色んなAI ChatサービスとかのAPIを好きに選択してChatGPTのインターフェイスで使える、要するにAPI叩く為のGUIツールのフレームワークって感じ。かな？
ChatGPTインターフェイスに慣れてるのでええやん〜ってなった。（←ここポイント高）

んでDockerでのインストール方法はここ。

$ git clone https://github.com/danny-avila/LibreChat.git

OpenAIとかのAPIKeyで使うだけならもうそのままcloneしてきて、Docker立ち上げて、

$ docker compose up

で、　http://localhost:3080/　　アクセスしたら見れる。
ユーザ登録して、GUI側からAPI Keyとかを登録したらそのままAPI経由でチャット開始できる。

LibreChat に Custom Endpoint追加

さっきAPI取得したCohereをCustom Endpointとして追加するには、
まず.env にAPI KEY追加して、（.envのexampleファイルがあるのでコピってrenameでok）

COHERE_API_KEY=***

docker-compose.override.yml　をここ見て書き換えて、

version: '3.4'
services:
  api:
    volumes:
      - ./librechat.yaml:/app/librechat.yaml

librechat.yaml　をここ見て書き換えて、

# Definition of custom endpoints
endpoints:
  custom:
    - name: "cohere"
      apiKey: "${COHERE_API_KEY}"
      baseURL: "https://api.cohere.ai/v1"
      models:
        default: ["command-r-plus"]
        fetch: false
      modelDisplayLabel: "cohere"
      titleModel: "command"
      dropParams: ["stop", "user", "frequency_penalty", "presence_penalty", "temperature", "top_p"]

（どっちも既にgitにexampleファイルがあるのでコピーしてrenameするだけでok）

$ docker compose up

docker立ち上げ直したら、cohereが使えるようになってる。

こんな感じで複数のエンドポイントを切り替えて使える。

しばらく使ってみて支障がなければ
無課金で使える内はしばらくこれで試してみるつもり。

you