Larkollen var tidligere et lite ladested, som også på 1700- og først på 1800-tallet spilte en rolle i miltære sammenhenger på grunn av gunstig strategisk beliggenhet. Larkollsundet ble også tidlig ansett som en god havn, skjermet og med stor dybde nær land. Tidligere lå kystfortet Fredriksodde ved Larkollsundet, men dette er forlengst revet. Etter 1. verdenskrig ble det imidlertid reist en monumental sommervilla over ruinene som ennå er markert synlige. Fortet ble anlagt i 1711, men kom aldri i kamp. I våre dager er Forsvaret representert ved dypvannskaia ved innløpet til Larkollsundet, der tankskip losser drivstoff til Rygge flystasjon.