Forholdet varte likevel i 27 år, og overlevde også fru Fitzherberts forskrekkelse over Georgs svikefulle, bigamistiske ekteskap med prinsesse Caroline. Da fru Fitzherbert var 55 år, forlot kongen henne fordi hun var «en krakilsk gammel kone». Hun forlangte til gjengjeld en formell separasjon, og oppnådde etter en del offentlig skittentøysvask en årlig pensjon på 10 000 pund. Offisielt fikk paret ingen barn; men det er blitt hevdet at fru Fitzherbert fikk barn som tok navnet Wyatt etter morens død.