Em 1855, durante a Guerra da Crimeia, o Governador William Denison reclamou a ponta de "Kirribilli Point", na qual foram construídas fortificações. Estas fortificações, juntamente com o Forte Denison, estavam destinadas a fortificar as defesas da Baía de Sydney, uma vez que se receava que os russos pudessem atacar. Em 1856, o tenente-coronel George Barney, oficial dos ["Royal Engineers" (Engenheiros Reais), viveu em "Wotonga", tendo desenhado e supervisionado a instalação duma de cinco baterias de carregar pela boca em "Kirribilli Point", assim como a construção da "Torre Martello" ("Martello Tower") no Forte Denison.