Weiter entlang des Bergkamms in Richtung Osten liegt Fort Phillip, mit einem wehenden Union Jack, auf dem Windmill (später Observatory) Hill, wo sich heute das Sydney Observatory befindet. Fort Phillip wurde 1804 durch den dritten Gouverneur von New South Wales Philip Gidley King (1800–1806) in Auftrag gegeben, zum Teil als Reaktion auf äußere Bedrohungen und zum Teil auf innere Unruhen, die sich in Australiens einziger großer Sträflingsrebellion in Castle Hill im März 1804 widerspiegelten. Dies wurde als Schlacht am Vinegar Hill tituliert, da die meisten der Strafgefangenen Iren waren. Windmill Hill wurde als Standort für das Fort ausgewählt, da es der höchste Punkt über der Kolonie war. Es bot eine hervorragende Aussicht auf näherkommende Schiffe aus Osten und Westen auf den Hafen, den Fluss und die Landstraße nach Parramatta, das umliegende Land und auf die gesamte Stadt darunter.