Ernst var ikke veldig ansett av folket. Dette var mye på grunn av hans utseende, hans voldsomme støtte til Tory-fløyen i britisk politikk og et rykte (sannsynligvis satt ut av hans politiske motstandere) om at han hadde drept sin kammertjener og fått barn med sin søster. På tross av disse faktorene, var han et fast medlem med stor innflytelse i House of Lords.