Tittelen tildeles på livstid, men har likevel blitt fratatt seks innehavere. Bortsett fra noen dissidenter under den belgiske revolusjonen, mistet Gijsbert Karel grev av Hogendorp embetet i 1819 på grunn av sin kritikk mot kong Vilhelm Is finanspolitikk, og Dirk Jan de Geer i 1947 grunnet hans standpunkt under den annen verdenskrig.