Der Bau des Hauses wurde Ende des 18. Jahrhunderts am Pirnaischen Tor im Osten der historischen Innenstadt geplant und unter der Oberbauleitung des Oberkammerherrn Ludwig Siegfried Vitzthum von Eckstädt durchgeführt. Die Dresdner Architekten Oberlandbaumeister Christian Friedrich Exner, Oberst Georg Rudolph Fäsch und Hofbaumeister Friedrich August Krubsacius hatten dazu 1770 ihre Pläne eingereicht, die Graf Vitzthum zu evaluieren hatte. Nach einem Gegenentwurf des Grafen wurde dieser genehmigt und schließlich am 26. Juli 1770 mit dem Bau nach dem Vitzthumschen Entwurf begonnen. Die Ausführung oblag den Architekten Krubsacius und wesentlich seinem Schüler Höltzer. Der Bau wurde erst am 12. Dezember 1776 fertig übergeben. Später erfolgte die Schleifung der Stadtfestung und der Pirnaische Platz entwickelte sich zum wichtigen Verkehrsknotenpunkt, an dem das Landhaus seit dem Wiederaufbau "Leitbauwerk" ist. Durch die großflächigen Zerstörungen der Innenstadt im Zweiten Weltkrieg wurde auch das Landhaus zerstört, doch blieb die Außenhaut erhalten. Da bei der Neuplanung der Dresdner Straßenzüge die Wilsdruffer Straße als Magistrale ausgebaut und somit erheblich verbreitert wurde, ging ein Teil des Vorgartens des Landhauses verloren. Der östliche Seitenflügel des Landhauses wurde in diesem Zusammenhang beseitigt und das große Eingangstor des Vorgartens zum Barockgarten Großsedlitz versetzt.