Han hadde studentereksamen fra Odense Katedralskole fra 1822 og teologisk embedseksamen fra Københavns Universitet fra 1827. De neste seks årene var han værende i København, der han virket som lærer. Balslev var sogneprest i Vejerslev og Blidstrup på Mors 1833–1850, sogneprest i Ribe domkirke og stiftsprost i Ribe 1850–1860, sogneprest i Nørre Broby på Fyn 1860–1867 samt biskop i Ribe fra 1867 til sin død. Han skrev en meget benyttet lærebok i bibelhistorie og en katekismeforklaring for allmueskolen og konfirmasjonsundervisning. Balslevs katekismeforklaring fortrengte etterhvert .