Hans sønn Oliver Madox Brown (1855–1874) viste løfter som både lyriker og billedkunstner, men døde i ung alder av blodforgiftning.