尔兰建立国家教育制度。这封信今日仍有价值，是小学教育的重要法律依据。1883年他获得了升迁，出任更为重要的陆军及殖民地大臣（Secretary of State for War and the Colonies）。次年作为党内保守派的德比与其他阁员在爱尔兰教会改革的问题上产生了意见分歧，并因此辞职退出政府。此后，他在党内组成了一个团体，叫Derby Dilly，试图在激进的辉格党与保守的托利党之间开辟一条中间路线。“Derby Dilly”这个词是爱尔兰民族主义者丹尼尔·奥康纳（Daniel O'Con