El 5 de julio de 1836, Brunel se casó con Mary Elizabeth Horsley (nacida en 1813), que procedía de una familia musical y artística, siendo la hija mayor del músico inglés William Horsley.