Der Ursprung des Hausmannsturms geht auf einen neuen, um 1400 errichteten Hauptturm der herzoglichen Residenz zurück. Er stand in enger funktionaler Verbindung mit einem östlich anschließenden, damals ebenfalls neu errichteten zweigeschossigen Palas. In den Jahren 1674–1676 vollendete der Architekt Wolf Caspar von Klengel im Auftrag des Kurfürsten Johann Georg II. den Turm in seiner heutigen barocken Form. Dabei wurde dieser nordwestliche Eckturm der damaligen Schlossanlage um 35 Meter erhöht, womit er 97 Meter erreichte. 1775 brachte man den ersten Blitzableiter Dresdens hier an und vergrößerte gleichzeitig den Turm auf die heutigen 100,27 Meter Höhe, womit er bis 1945 der höchste Turm der Stadt war. Infolge der Luftangriffe auf Dresden verlor der Hausmannsturm seine Spitze. Der Turmstumpf wurde 1946 notdürftig abgedeckt.