KHSLiveUSB / README.md
cyberunit's picture
Update README.md
3ab7e2d verified
metadata
license: gpl-3.0
  _  ___    _  _____ 
 | |/ / |  | |/ ____|
 | ' /| |__| | (___  
 |  < |  __  |\___ \ 
 | . \| |  | |____) |
 | |\_\_|  |_|_____/ 
 | (_)               
 | |___   _____      
 | | \ \ / / _ \     
 | | |\ V /  __/     
 |_|_| \_/ \___|     

Образ KHSLiveUSB собран на базе Debian 13 Trixie с xfce и ядром 6.12 под архитектуру amd64

Расчитан для автономной работы на ПК со средними и скромными вычислительными мощностями, ПК и МиниПК поставляющихся без SSD/HDD а так же в условиях отсутствия интернет соединения с возможностью локального запуска легковесных моделей нейросетей и организации связи через Reticulum

image

В Дополнение к дефолтной пакетной базе Debian 13 live

В образ интегрированы следующие инструменты:

  • llama.cpp
  • stable-diffusion.cpp (только для запуска моделей с внешних носителей USB/HDD/SSD)
  • whisper.cpp

Модели:

  • whisper-large-turbo-q5_0
  • DeepSeek-R1-0528-Qwen3-8B-Q4_K_M
  • medgemma-4b-it-Q4_K_M

Сетевые инструменты:

  • Reticulum Network Stack (rns, nomadnet, sideband)
  • Встроенный репозиторий с документацией по RNS и флэшером (SideBand и NomadNet используют дефолтный TCPClientInterface)

Мониторинг утилизации ресурсов:

  • nmon
  • lm-sensors
  • psensor

Прочее:

  • git
  • Python3
  • screen
  • ffmpeg

Установка:

**для оптимальной скорости работы, лучше использовать USB порты SS, флэшки не менее 16Gb с хорошей скоростью чтения/записи стандарта не ниже USB 3.2

При первой загрузке на НОВОЙ аппаратной конфигурации, необходимо собрать инструменты под новый CPU для этого можно воспользоватся ярлыком "New Build" на рабочем столе и только после этого использовать ярлыки Medgemma и DeepSeek для использования локальных моделей нейросетей

Образ протестирован на:

AMD Ryzen AI 9 365 (32Gb RAM)

image Stable-Diffusion -> Flux (~9Gb) image 10 min

Intel Core i5 9300H (16Gb RAM)

medgemma-4b-it-Q4_K_M (2.3Gb)

image

image

Intel Core i5 9400F (8Gb RAM)

medgemma-4b-it-Q4_K_M (2.3Gb) ~9 t/s image

image

Известные ошибки:

Скачал, записал на флэшку, работает, но грузится УЖАСНО МЕДЛЕННО

Для нормальной работы желательно использовать USB флэшку стандарта USB 3.2 и вставлять её в порт с обозначением (SS) Super Speed

ПК ушёл в спящий режим, теперь требует пароль

пароль live

Ошибка "Illegal instruction" при запуске любой модели

решается пересборкой llama под новое железо

Всё собрал, запускаю DeepSeek вижу бессмыслицу и Китайские Иероглифы

необходимо заменить эту битую .gguf модель, на новую из нашего репозитория: https://huggingface.co/cyberunit/DeepSeek-R1-0528-Qwen3-8B-Q4_K_M-GGUF/tree/main или выполнить в консоли следующие команды:

cd ~
rm run_deepseek.sh
wget https://huggingface.co/cyberunit/DeepSeek-R1-0528-Qwen3-8B-Q4_K_M-GGUF/raw/main/run_deepseek.sh
sudo chmod +x run_deepseek.sh
cd ~/models
rm DeepSeek-R1-0528-Qwen3-8B-Q4_K_M.gguf
wget https://huggingface.co/cyberunit/DeepSeek-R1-0528-Qwen3-8B-Q4_K_M-GGUF/resolve/main/deepseek-r1-0528-qwen3-8b-q4_k_m.gguf

У меня слабый интернет канал, и долго выкачивать 15Гб образа, будет ли образ на 8Гб

Чуть позже будет образ на 8Gb с Medgemm'ой и Reticulum'ом Возможно будут образы на базе и других дистрибутивов и без иксов.