Опять же собрал все с помощью MSVS 2012. Действительно, перевод изображения из BGR в HLS работает в многопоточной версии почти столько же, как и в однопоточной, в то время как перевод из HLS в BGR хорошо ускоряется. Если интересно и будет время можете попробовать разобраться, почему так происходит.
Общее время работы фильтра даже при таком раскладе составляет ~35 мс (4 потока), что очень близко к требуемым показателям.