Ayers bodde i Ayers House fra 1855 til 1897 og utvidet det fra et 9 roms hus til en stor herregård i 1860-årene. Hans yngste barn, Lucy, ble født i Ayers House. I hans regjeringstid ble Ayers House brukt til regjeringsmøter, parlamentariske middager og store ball.