Colton ble kapellan ved og også kapellan ved . I 1896 ble han sogneprest for i Port Chester og også kansler for erkebispedømmet New York.