Fred Brooks giftet seg med Nancy Lee Greenwood i 1956. De fikk tre barn. Han oppkalte sin eldste sønn etter Kenneth E. Iverson. Brooks var evangelisk kristen og var akriv i InterVarsity Christian Fellowship.