Johan Greve var sønn av prost Johan Fritzner Greve. Han tok teologisk eksamen i 1857 og i 1872 ble han sogneprest i Jølster. I 1877 ble han innsatt som prost på samme sted, før han i 1882 dro til Sogndal for å bli sogneprest der. I 1883 ble han også prost i Sogndal.