1860-ական թվականներին Վիեննայում քննարկվում էր, այսպես կոչված, «թանգարանային հարցը»: Արվեստի գործերի կայսերական հավաքածուների նմուշները տեղափոխվեցին Վիեննայի տարբեր շենքեր։ Զեմպերը Ֆրանց Իոսիֆ I կայսրից պատվեր ստացավ կազմել Ռինգշտրասսե փողոցում կառուցվելիք նոր շենքերի նախագիծը։ 1869 թվականին Զեմպերը նախագծեց Կայսերական հրապարակը, որը, սակայն, այդպես էլ մինչև վերջ չիրագործվեց։ Այնուամենայնիվ, կառուցվեցին արվեստների պատմության ու բնագիտության թանգարաններն ու թագավորական թատրոնը։ Այդ պատվերների պատճառով Զեմպերը 1871 թվականին մեկնում է Վիեննա։ Զեմպերն ու նրա գործընկերը՝ ճարտարապետ բարոն Կառլ ֆոն Խազենաուերը, տարաձայնություններ ունեին շինարարության հարցերի վերաբերյալ։ 1876 թվականին Զեմպերը ավարտին հասցրեց նախագծի իր բաժինը։ Հաջորդ տարի Զեմպերի մոտ նկատվեցին առողջական խնդիրներ։ Երկու տարի անց նա մահացավ Իտալիայում։ Թաղվել է Հռոմի բողոքականների գերեզմանատանը: