Cuando su casa en Dublín, la Casa Kildare (nombrada Leinster House cuando fue hecho Duque de Leinster) fue terminada, fue por mucho la residencia aristocrática más grande fuera del Castillo de Dublín, y fue recibido con envidia.