Не стоит писать условия с двумя ветками, когда можно без них обойтись. Надо написать что-то такое:
``
int opRes = vignette(image, img_dst, rectangle);
if (opRes == 1)
{
        cout << "Incorrect image type." << endl;
        return 2;
}
``