Harper ble presteviet den 18. juni 1939 i Esopus av en av hjelpebiskopene i New York, Stephen Joseph Donahue. Deretter virket han i sjelesorgen på forskjellige karibiske øyer, på Puerto Rico, i Den dominikanske republikk og så på Jomfruøyene.