Ideogram 4 & flash attention & sage attention head_dim 256
#3
by kpu3uc - opened
В общем проблема: Ideogram 4 по умолчанию использует flash attention, которого нет в сборке. sage attention вываливается по ошибке head_dim 256 ( [ERROR] Error running sage attention: Unsupported head_dim: 256). Что-то с этим сделать можно?
upd https://github.com/thu-ml/SageAttention/pull/329