Ministern i London grefve Piper har i dagens konselj erhållit afsked.