Phillips Brooks forberedte seg til college på Boston Latin School og gikk ut fra Harvard University i 1855, 20 år gammel. Etter en kort periode som lærer ved Boston Latin, begynte han i 1856 å studere med tanke på å bli ordinert. Han studerte da ved Virginia Theological Seminary i Alexandria.