Den 29. oktober 1674 ankom Speckhan Akershus for at overta kommandantstillingen der. Egentlig var han mere hoffmann enn offiser, og fordi kongen ønsket ham tilbake til hoffet, ble han den 17. desember 1680 utnevnt til hoffmarskalk i København. Kun 1½ år senere ble han dog fjernet fra hoffet, og utnevntes i stedet til stiftsbefalingsmann over Ribe stift samt amtmann over Riberhus amt. Han fikk samtidig tittel av gehejmeråd, og året mottok han av kongen det hvite bånd.