Forwarded fromΒ The Dragon Code News
πŸš€ Быстрый запуск локального ИИ ассистСнта Π² PhpStorm

Для этого Π’Π°ΠΌ Π½ΡƒΠΆΠ½Π° Π²ΠΈΠ΄Π΅ΠΎΠΊΠ°Ρ€Ρ‚Π° с RTX ядрами ΠΎΡ‚ NVidia ΠΈΠ»ΠΈ RDNA ΠΎΡ‚ Radeon, ΠΈΠ½Π°Ρ‡Π΅ ΡΠΊΠΎΡ€ΠΎΡΡ‚ΡŒ Ρ€Π°Π±ΠΎΡ‚Ρ‹ Π½Π΅ΠΉΡ€ΠΎΠ½ΠΊΠΈ Π±ΡƒΠ΄Π΅Ρ‚ Π½ΠΈΠ·ΠΊΠΎΠΉ.

Π’Π°ΠΊΠΆΠ΅ Π½ΡƒΠΆΠ΅Π½ Docker.


Π’Π΅ΠΏΠ΅Ρ€ΡŒ ΠΌΠΎΠΆΠ½ΠΎ Π²Ρ‹ΠΏΠΎΠ»Π½ΠΈΡ‚ΡŒ ΠΊΠΎΠ½ΡΠΎΠ»ΡŒΠ½Ρ‹Π΅ ΠΊΠΎΠΌΠ°Π½Π΄Ρ‹:

docker run -d -p 11434:11434 --gpus=all -v ollama:/root/.ollama --name ollama --restart always ollama/ollama

docker exec ollama ollama run gemma3:12b


Π³Π΄Π΅ gemma3:12b - это модСль ΠΈ Π΅Ρ‘ Ρ€Π°Π·ΠΌΠ΅Ρ€ с сайта Ollama. Π Π°Π·ΠΌΠ΅Ρ€ ΠΌΠΎΠ΄Π΅Π»ΠΈ Π²Ρ‹Π±ΠΈΡ€Π°ΠΉΡ‚Π΅ Π½Π΅ большС Ρ€Π°Π·ΠΌΠ΅Ρ€Π° видСопамяти. НапримСр, Π² ΠΊΠ°Ρ€Ρ‚ΠΎΡ‡ΠΊΠ΅ с 12 Π“Π± VRAM самой большой модСлью Π±ΡƒΠ΄Π΅Ρ‚ gemma3:12b ΠΈΠ½Π°Ρ‡Π΅ всС вычислСния лягут Π½Π° CPU, Π° это ΠΎΡ‡Π΅Π½ΡŒ-ΠΎΡ‡Π΅Π½ΡŒ ΠΌΠ΅Π΄Π»Π΅Π½Π½ΠΎ. Если Π½Π΅ нравится модСль gemma3, Ρ‚ΠΎΠ³Π΄Π° ΠΌΠΎΠΆΠ΅Ρ‚Π΅ Π²Ρ‹Π±Ρ€Π°Ρ‚ΡŒ Π»ΡŽΠ±ΡƒΡŽ Π΄Ρ€ΡƒΠ³ΡƒΡŽ Π½Π° сайтС.

ПослС Ρ‚ΠΎΠ³ΠΎ ΠΊΠ°ΠΊ запустили Ollama Π² Π΄ΠΎΠΊΠ΅Ρ€Π΅ ΠΈ Π·Π°Π³Ρ€ΡƒΠ·ΠΈΠ»ΠΈ Π² Π½Π΅Ρ‘ модСль, устанавливаСм ΠΏΠ»Π°Π³ΠΈΠ½ ProxyAI Π² PhpStorm (Ρ€Π°Π½ΡŒΡˆΠ΅ ΠΏΠ»Π°Π³ΠΈΠ½ назывался CodeGPT) ΠΈ Π»Π΅Π³ΠΊΠΎ настраиваСм.

Настройки ΠΏΠ»Π°Π³ΠΈΠ½Π° находятся Π² Ρ€Π°Π·Π΄Π΅Π»Π΅ File | Settings | Tools | ProxyAI.

1. Π’Ρ‹Π±ΠΈΡ€Π°Π΅ΠΌ ΠΏΡ€ΠΎΠ²Π°ΠΉΠ΄Π΅Ρ€ "Ollama (local)";
2. Π’ Ρ€Π°Π·Π΄Π΅Π»Π΅ "Ollama (local)" ΠΆΠΌΡ‘ΠΌ ΠΊΠ½ΠΎΠΏΠΊΡƒ "Refresh models" для обновлСния списка доступных ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ ΠΈ Π²Ρ‹Π±ΠΎΡ€Π° Π½ΡƒΠΆΠ½ΠΎΠΉ.

Нюанс ΠΎΠ΄ΠΈΠ½ - Π½Π΅ всС ΠΌΠΎΠ΄Π΅Π»ΠΈ ΠΎΡ‚Π²Π΅Ρ‡Π°ΡŽΡ‚ Π½Π° русском языкС. НапримСр, gemma3 ΠΏΡ€ΠΈΠ½Ρ†ΠΈΠΏΠΈΠ°Π»ΡŒΠ½ΠΎ ΠΎΡ‚Π²Π΅Ρ‡Π°Π΅Ρ‚ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ ΠΏΠΎ-английски, хотя ΠΏΠΎΠ½ΠΈΠΌΠ°Π΅Ρ‚ русский язык.