Charles J. Brown hadde sin barndom i East Village på Manhattan i New York City, da dette nabolaget var overveiende jødisk. Han sa senere at hans familie var «så god som den eneste ikke-jødiske i leilighetsblokken» da han vokste opp der som eldste av en søskenflokk på seks barn. Da han var fem år flyttet familien til Rye, en forstad nord for for New York City. I 1971, da han var 11 år, flyttet de igjen, og da til Windham i Catskill Mountains. Hans familierøtter var i Irland og Tyskland - etternavnet «Brown» er en anglisering av det tyske «Braun».