A lo largo de su vida, Dufferin fue conocido por vivir por encima de sus posibilidades, hipotecando sus propiedades para costear su estilo de vida.