Navnet Trollåsen eller Trolldalsåsen (brukt på kart frem til 70-tallet), kommer antagelig fra før middelalderen. Da lå det en gammel bygdeborg her. Området var ufremkommelig og en del røvere var på vandring i distriktet. Derfor ble unger på gårdene og husmannsplassene i nærheten fortalt at det var noe trollsk over området, derav Trollåsen. I gamle kart er også Gjersjø bru kalt Trolldalsbroa.