Etter i 1955 å ha begynt som kammerjunker ved det svenske kongehoffet, ble Scheffer kammerherre i 1955 og seremonimester i 1973.