Стоит все-таки использовать функцию конвертирования цветового пространства cvtColor из OpenCV.