Hermes Schallautzer entstammte einer wirtschaftlich und politisch bedeutsamen Familie Wiens. Er war Baumeister der neuen Stadtbefestigung nach der Ersten Wiener Türkenbelagerung von 1529 und arbeitete am Bau des Schlosses Kaiserebersdorf, sowie an der Erstellung des Stadtplanes von Augustin Hirschvogel mit, welcher im Zusammenhang mit seiner Bautätigkeit stand. 1546 wurde er königlicher Rat und am 17. März 1547 wurde ihm von Ferdinand I. die Bauleitung für die Befestigung Wiens übertragen. Von diesem Zeitpunkt an war er auch Superintendent der landesfürstlichen Gebäude. In dieser Eigenschaft veranlasste er den Bau des (alten) Arsenals, der Kärntner Bastei (1548) und schließlich der Löwelbastei.