第4代ダービー伯爵とその妻(第2代カンバーランド伯爵の娘)の間の長男で、第6代ダービー伯爵ウィリアム・スタンリーは弟。