Haave var en av de viktigste haugianerne i landet og reiste rundt i landet på predikantreiser sammen med presten Mads Wefring. Han er mest kjent for salmen «Jesus, lær meg du å bede». Den ble skrevet i 1847 og stod først på trykk i J. Johnsens salmebok før den senere har vært med i , og . Den står også i den bedehustilknyttede . Etter Haaves død sørget venner av ham for å få utgitt tekstene hans i som kom i 1887.