Brown er bestefar til romanforfatteren Ford Madox Ford og er oldefar til Labour-politikeren Frank Soskice.