Fred C. Koch giftet seg emd Mary Robinson i Kansas City i 1932. De fikk fire sønner: Frederick (født 1933), Charles (født 1935), David (1940-2019) og William (født 1940).