Brent Scowcroft var sønn av Lucile (født Ballantyne) og James Scowcroft, sistnevnte en landhandler og forretningsmann. Han nedstammet fra innvandrere som kom fra England og Skottland på 1800-tallet, og innvandrere fra Danmark og Norge.