Vibe var en markant deltager i skoledebatten i Norge i store deler av 1800-tallet, og da spesielt striden om de klassiske fags stilling i skolen. Han var sammen med Frederik Moltke Bugge den viktigste lederen for en konservativ fløy som ønsket å bevare latin og gresk som sentrale skolefag, og i opposisjon til «realistene» med Anton Martin Schweigaard og Herman Foss i spissen. Han var en av grunnleggerne av den konservative avisen i 1848.