Se casó por segunda vez en Niza, el 26 (o el 27) de marzo de 1857, con Jane Kirk Purnell (nacida en 1827), la segunda hija de Thomas Purnell, de Scarborough. Lady Brewster se desmayó durante el debate sobre la evolución de Oxford del 30 de junio de 1860. Brewster murió en 1868, y fue enterrado en la Abadía de Melrose, junto a su primera esposa y su segundo hijo.