Brooks ble født i Boston i 1835. Gjennom sin far, William Gray Brooks, nedstammet han fra presten John Cotton og gjennom sin mor, Mary Ann Phillips, var han barnebarnet til Samuel Phillips, Jr. som grunnla Phillips Academy. Fire av ekteparets seks sønner ble ordinert til prester i den episkopale kirken.