Brown er gift med Connie Schultz. Schultz vant i 2005 Pulitzer-prisen for sine kommentarer i Cleveland-avisa . Han har to barn fra et tidligere ekteskap.