Den 10. juni 1865 mottok han i Roma prestevielsens sakrament for bispedømmet Philadelphia fra sekretæren for Det hellige officium, Costantino Patrizi Naro. I 1866 tok Horstmann sin doktorgrad i teologi i Roma.