Havets navn kommer fra gresk mytologi og er oppkalt etter titanen Atlas. Den eldste referansen til navnet er i den greske historikeren Herodots fra rundt 450 f.Kr.: som (gresk: Ἀτλαντὶς θάλασσα; norsk «Atlas’ hav»; se også Atlasfjellene). Atlantis (gresk: Ἀτλαντὶς νῆσος, «Atlas’ øy») er en legendarisk øy nevnt av Herodot som skal ligger utenfor Herkulessøylene (Gibraltarstredet). Betegnelsen Det etiopiske hav, avledet fra Etiopia, ble benyttet som navn på den sørlige delen av Atlanterhavet så sent som midten av 1800-tallet. Før europeerne oppdaget andre hav ble betegnelsen «hav» i seg selv benyttet som synonym for vannene som lå bortenfor Gibraltarstredet av det som i dag omtales som Atlanterhavet. Antikkens grekere forestilte seg at dette havet var en enorm elv som sirklet om verden.