Hille startet sine studier på Bergen katedralskole og ble cand.theol. i 1852 i København. Han var sterkt påvirket av Søren Kierkegaards skrifter, og det ga seg for ham utslag i en tvil om han skulle bli prest. Han arbeidet som lærer i flere år etter teologisk embedseksamen og tok ikke praktisk-teologisk eksamen før i 1861.