En vet ikke sikkert hva navnet kommer av, men grekerne trodde selv at den var oppkalt etter sin beskytter, gudinnenen Athene, men det er like sannsynlig at gudinnen fikk sitt navn fra byen. Myten sier at Athene konkurrerte med Poseidon om å bli skytsguddom av Athen. De ble enige om at begge skulle gi athenerne en gave og så skulle athenerne velge hvilken gave de foretrakk. Poseidon slo sin trident i bakken og en kilde spratt opp. Vannet var salt og lite brukbart, mens Athene tilbød dem det første dyrkede oliventreet. Athenerne (eller deres konge Kekrops) aksepterte oliventreet og sammen med det Athene som deres beskytter, for oliventreet brakte treverk, olje og mat. I en alternativ versjon, oppfant Poseidon den første hesten. Athenes gave ble likevel foretrukket.