Den sørøstlige delen av Sørøya er en del av Oscarsborg festning, og er Forsvarets eiendom. Resten (halve Sørøya, Mellomøya og Nordre Håøya) eies av Oslo kommune. Grensa mellom Forsvarets og kommunens del går i linje mellom Bruresteinen i øst og nord for Geitestranda i vest. Skillet mellom Mellomøya og Nordre Håøya går ved Dragsundet.