Het gebied werd nog uitgebreid met het voormalige Keur-Keulse Volkmarsen, dat afgestaan werd door Hessen-Darmstadt. Willem Frederik toonde zich geen trouw aanhanger van Napoleon. In november 1804 verschenen hij en zijn vader in Mainz niet op de uitnodiging van Napoleon voor alle Duitse vorsten voor de vorming van de Rijnbond. Deze werd op 12 juli 1806 gevormd. In augustus 1806 verklaarde het tot dan toe neutraal gebleven Pruisen de oorlog aan Frankrijk. Dit werd de Vierde Coalitieoorlog. Willem Frederik koos partij voor zijn familie in Pruisen en liep over. Op 27 oktober 1806 werd het gebied door Franse troepen bezet, waardoor Willem Frederik zijn vorstendom vanwege de collaboratie met Pruisen verloor. Ter compensatie van dit verlies kreeg de erfprins een jaarlijkse som van 60.000 gulden uitgekeerd. De door de prins opgezette bestuurlijke organisatie werd voorlopig gehandhaafd en Fulda werd een zogenaamde gereserveerde provincie: een gebied dat door Frankrijk werd bestuurd zonder deel uit te maken van het Franse keizerrijk. De erfprins zelf was op 14 oktober 1806 krijgsgevangene geworden na de verloren Slag bij Auerstedt maar werd op zijn erewoord vrijgelaten. Na de verovering van Berlijn op 27 oktober 1806 keerde Willem Frederik terug naar Napoleon met een smeekbrief om de onteigening van het vorstendom terug te draaien. Deze werd op 7 november 1806 resoluut afgewezen. De erfprins schreef tot drie keer een smeekbrief, maar alle werden afgewezen.