Det opprinnelige bygdenavnet var Olund (brukt på 1300-tallet). Fra 1600-tallet ble det vanlig å skrive Aalund, og dette var i bruk frem til slutten av 1800-tallet. Men uttalen var trolig Ølen, som i dag, og dette ble navnet på den nye kommunen tidlig på 1900-tallet. Navnet på tettstedet blir gjerne kalt Ølensjøen, i gamle dokumenter omtalt som «Landhandlerstedet Aalundssøen». Like ovenfor Ølensjøen ligger bygdemuseet Nerheimstunet, på den gamle og sentrale gården Nerheim. Dette navnet ble skrevet som Niarðhæim i 1326 og kommer av guden Njord fra norrøn mytologi. Sannsynligvis var det her et gudehov til ære for Njord. Senere kan det ha blitt vigslet til kirkested. Kirken stod hvertfall her i den første kristne tiden og frem til 1874. Da den nye kirken ble bygget i 1874 ble denne plassert lenger nede ved sjøen, blant annet for at den ikke skulle stå så værhardt til, og for å være lettere tilgjengelig for de som kom sjøveien.