Frem til 1985 befant det seg en krigsskole, OCS Portsea ved Point Nepean rett vest for Portsea. Det var innenfor det militære området rundt krigsskolen at Australias daværende statsminister Harold Holt forsvant under en svømmetur 17. desember 1967. Han ble antatt omkommet to dager senere.