Der Standort des Sydney-Observatoriums war ein bedeutender Ort in Sydney und wurde mehrfach umbenannt. Er war in den 1790er Jahren als "Windmill Hill" bekannt, als hier die erste Windmühle stand. Nach 1804 wurde es als "Fort Phillip" oder "Citadel Hill" bezeichnet, was sich auf den Bau einer Zitadelle auf dem Gelände bezieht, die auf Anweisung von Gouverneur King für den Fall eines Aufstands in Sydney verwendet werden sollte. Die Zitadelle wurde jedoch nie fertiggestellt. Dies wurde durch einen Zustrom von „Death or Liberty“ Boys nach dem misslungenen Aufstand von 1798 in Irland ausgelöst, von denen einige seiner Meinung nach zweifelhaften Charakter hatten und ständig Verdacht erregten. Der Bau begann, aber die Zitadelle wurde erst fertiggestellt, als William Bligh im Amt installiert worden war. Während der Zeit von Lachlan Macquarie gab es weitere Diskussionen über eine Zitadelle, aber nichts geschah mehr als ein halb gebautes Pulvermagazin, Francis Greenways erstes Werk nach seiner Ernennung zum Zivilarchitekten im Jahr 1815.