Здесь есть единственный момент - разрастется реализация, потому что нельзя будет единообразно написать цикл (в зависимости от числа каналов будут свои 3 цикла). Но вполне возможно, что это будет работать быстрее, потому что вектора в памяти лежат последовательно и не надо будет делать лишних конвертаций.