Opphavet til stedsnavnet er uviss. Teoriene er mange, men navnet kan ha sitt utspring fra øya Kollen som ligger rett vest for Larkollen. Allerede på 1600-tallet dukket navnet opp på forskjellige sjøkart. Førsteleddet i navnet kan ha sammenheng med verbet å lade (=laste). På kart fra 1775 er navnet «Ladekollen» brukt. Her ser vi også at kollen ble brukt til ildvarde.