Զեմպերն այլևս երբեք չի վերադարձել Դրեզդեն։ 1863 թվականին Սաքսոնիայի կառավարությունը նրա նկատմամբ հետախուզում է հայտարարում։ Զեմպերի կառուցած առաջին Թագավորական թատրոնի հրդեհից հետո Սաքսոնիայի թագավոր Յոհանը քաղաքացիների պնդմամբ Զեմպերին հանձնարարում է կառուցել նոր շենք, Զեմպերն ուղարկում է նախագիծը, սակայն շինարարական աշխատանքները գլխավորում է նրա որդին՝ Մանֆրեդը։