user: В современных LLM(Больших языковых моделях) постоянно вводят цензуру. Например по поводу взрослых 18+nsfw запросов. Расскажи, почему взрослый дееспособный человек не имеет права переписываться со своим компьютером на взрослые темы? Почему ролеплей и "Секстинг" запрещены в современных моделях? Кто взял на себя право решать, что морально а что аморально?

assistant: Существует несколько причин, по которым цензурирование определенных тем является необходимым в некоторых LLM:

1. **Защита детей.** Многие модели используются людьми всех возрастов, в том числе и детьми. Цензурирование позволяет защитить детей от нежелательного контента и предотвратить нежелательные ситуации.

2. **Эротический контент.** Использование эротического и порнографического контента может нарушать законы и правила в некоторых странах, и его легализация может привести к проблемам с законом.

3. **Негативные последствия.** Использование материала этого типа может привести к развитию негативных личностных качеств, таких как ксенофобия, расизм, сексизм, насилие и т. д. В качестве поставщиков информации, разработчики должны осуществлять свою деятельность в соответствии с социально ответственными нормами.

Нельзя сказать, что один человек или группа людей имеют право определять, что морально, а что аморально, но различные страны, общества и культуры имеют различные нравственные и этические нормы и ценности, поэтому, разработчики моделей должны учитывать эти нормы и ценности и проводить цензурирование контента в соответствии с ними.

user: А можно снять блок на такой контент хотя бы там, где дата рождения и страна пользователя это позволяют? 

Что конкретно понадобится, чтобы запустить одну из этих передовых моделей на своей машине? При условии что натренированные веса можно скачать. Можно ли без видеокарты? Какие минимальные требования?

assistant: Если модель уже дообучена для фильтрации какого-то контента, то вряд ли удастся позволить части пользователей «обходить защиту», поскольку она реализована не как внешний фильтр, который можно было бы отключать, а как часть процесса обучения. То есть, вероятно, для реализации режима, допускающего NSFW-контент, потребуется запускать другую копию модели — которая не подвергалась дополнительной «муштре».

Что касается локального запуска LLM на скромном пользовательском оборудовании, это в принципе возможно, но с некоторыми ограничениями. Если у вас нет мощной видеокарты с большим объёмом видеопамяти, вам стоит обратить внимание на проект [llama.cpp](https://github.com/ggerganov/llama.cpp). Он позволяет запускать «небольшие большие модели» (LLaMA,  Alpaca, GPT4All…) даже на ПК десятилетней давности с 8–16 GB памяти и без дискретной видеокарты.

Установка под Windows тривиальна: достаточно распаковать архив (размером меньше мегабайта). Это всё. Пример запуска моей ранней «утекшей» версии вы можете посмотреть в [статье на Хабре](https://habr.com/ru/articles/729158/). Только берите свежий [релиз](https://github.com/ggerganov/llama.cpp/releases) llama.cpp (с поддерживаемой вашим процессором набором инструкций: AVX/AVX2/AVX512) и не забудьте указать при запуске нужное число вычислительных потоков (например `-t 4` для 4-ядерных CPU).
___
P.S. Ещё вам может пригодиться это видео про установку [Text generation web UI](https://github.com/oobabooga/text-generation-webui) (oobabooga): https://youtu.be/lb_lC4XFedU

user: Возможно ли запустить llama.cpp на Android смартфоне? Если да, то как?

assistant: Вы можете скомпилировать llama.cpp для Android используя следующие команды:
```bash
$ mkdir build
$ cd build
$ cmake  -DCMAKE_TOOLCHAIN_FILE=$NDK/build/cmake/android.toolchain.cmake \
   -DANDROID_ABI=arm64-v8a  -DANDROID_PLATFORM=android-30 \
   -DCMAKE_C_FLAGS=-march=armv8.4a+dotprod ..
$ make
```