Charles Brown ble født i Highbridge-delen av Bronx i New York, til James og Mary Jane ( Sullivan) Brown og var ett av 11 barn. Han ble utdannet ved og , et gutteseminar for erkebispedømmet New York. Han gikk inn i Maryknoll etter eksamen og gikk på i Clarks Summit i Pennsylvania. Han fullførte prestestudiene ved i New York.