Stedet har fått navn etter vikingehøvdingen Saxe på Vik, og flere veger i området bærer Saxe-navnet, for eksempel Saxe Viks veg og Saxeborgvegen.