I 1871 flyttet han til Wien for å delta i oppførelsen av en rekke monumentale bygningsverker på Ringstraße. Sammen med Karl von Hasenauer skulle han stå for oppførelsen av Wiens naturhistoriske museum og Wiens kunsthistoriske museum, men det kom til flere og flere uoverensstemmelser mellom de to arkitektene, og i 1876 forlot Semper prosjektet.