Bei dem Einrücken der antinapoleonischen Truppen in das Fürstentum Ende 1813 wurde dieses der Zentralverwaltung für die besetzten Gebiete ("Département Central d’Administration temporaire") der eroberten deutschen Länder unter dem Freiherrn von und zum Stein unterstellt und dem neu gebildeten General-Gouvernement Frankfurt am Main zugeteilt. Vergebens hatte der Fürst sein Ausscheiden aus dem französischen Dienst erklärt und um den Beitritt seines Landes zu dem Bündnis der Sieger der Leipziger Völkerschlacht nachgesucht. Goldner wurde unter dem Verdacht des "geheimen Einverständnisses" und Briefwechsels mit Frankreich in seinem Offenbacher Haus sieben Wochen lang interniert, eine Haussuchung förderte aber keine ihn belastenden Papiere zu Tage. Auf Druck des Freiherrn von und zum Stein wurde Goldner am 17. März 1814 von der Regentin, der Ehefrau des Fürsten Carl, entlassen. Das Urteil Steins über Goldner war nicht gerade wohlwollend: „Den Herrn von Goldner sollte man aufhängen!“.