Hans far, Edward Geoffrey Smith Stanley, 14. jarl av Derby var tre ganger Storbritannias statsminister. Han var eldste bror var Frederick Arthur Stanley, 16. jarl av Derby. Edward Henry Stanley satt i parlamentet 1848-1869, han representerte det konservative partiet. Han var utenriksminister 1866-1868 og 1874-78, han hadde også perioder med andre ministerposter som f.eks koloniminister. Etter å ha avsluttet sin politiske karriere ble han rektor for Universitetet i Glasgow og senere rektor ved universitetene i Edinburgh og London.