I 1928 startet han i den kristne avisen i Bergen, og i 1933 ble han redaksjonssekretær i avisen. I 1934 deltok Høye ved den såkalte Oxfordbevegelsens samling, noe som fikk avgjørende betydning for hans kristne syn og engasjement. Etter dette knyttet han seg sterkt til Oxfordbevegelsen og dens etterfølger Moralsk opprustning (MRA).