rixsvxc/gradient-octopus-v2

🐙 Gradient Octopus Model V2.0 (Гradiant Spiking Neural Network)

Gradient Octopus v2.0 — это универсальная мультимодальная импульсная (спайковая) нейронная сеть, созданная как радикальная альтернатива классическому градиентному спуску (Backpropagation). Модель работает исключительно на геометрии задержек сигналов во времени и не использует тяжелые плотные матрицы весов.

🚀 Главные преимущества перед Градиентным Спуском

• Экстремальная скорость обучения: Там, где классическим моделям (например, DQN или Policy Gradient) требуются тысячи эпох слепого подбора весов, Градиентный Осьминог доходит до идеала всего за 10-15 эпох, тратя на обучение миллисекунды.
• Динамическая анатомия (Режим Строителя): Сеть начинает работу в виде пустого легковесного графа. Скрытые слои и новые тиковые веса (задержки) выращиваются прямо во время обучения и строго в точках ошибок. Модель не тратит память на пустые параметры.
• Защита от шума (Порог Кворума Q=25): Наличие временного фильтра позволяет сети игнорировать опечатки в тексте или битые пиксели на картинках, отсекая их как фоновый шум.

🧠 Математическое ядро алгоритма v7.0/v8.0

Алгоритм полностью базируется на пространственно-временном расчете движения импульсов по графу:

1. Прямой ход (Forward): Расчёт времени активации узла $j$ через среднее время прихода сигналов от валидных предшественников, прошедших фильтр Кворума $Q$: $$t_j=\frac{1}{\mathrm{\mid }{V}_j\mathrm{\mid }}\sum _{i\in V_j}(t_i+{\tau }_{ij})t\_j\; =\; \backslash frac\{1\}\{|V\_j|\}\; \backslash sum\_\{i\; \backslash in\; V\_j\}\; (t\_i\; +\; \backslash tau\_\{ij\})$$

2. Обратный ход (Backward): Расчёт желаемого времени $t_{err}$ для хирургической настройки «светофоров»: $${\mathrm{\Delta }}_j=\mathrm{\mid }{t}_j-t_{err}(j)\mathrm{\mid }\backslash Delta\_j\; =\; |t\_j\; -\; t\_\{err\}(j)|$$

3. Работа Маляра и Строителя: Если зазор $\Delta_j > \delta$ и Маляр застревает на 3 итерации подряд, Кворум батч-голосования будит Строителя, и тот врезает новый скрытый нейрон точно посередине временного зазора, разделяя пересекающиеся контексты данных.

👁️ Мультимодальность: Зрение + Речь

Модель V2.0 успешно прошла двухэтапное обучение (Pre-training разговорной речи на базе живого Chit-Chat датасета + Fine-tuning Зрительной надстройки). Визуальный кодер разбивает изображение $256 \times 256$ на сетку патчей, превращая яркость пикселей в такты времени. Модель запоминает картинку как волновой узор, запечатывая правила геометрии в бинарный файл весов octopus_v2_huge_brain.bin. Благодаря двусторонним связям, импульс может быть запущен в обратную сторону (rev_edges) для попиксельной точечной генерации рисунка по памяти.