Elostirion, og de to andre tårnene som ikke er navngitte, ble antakeligvis bygget av Gil-galad, Høykonge av alvene i Midgard, for å ære Elendil som kom til Midgard i sorg og store tap. Etter det kom Elendil ofte til tårnene, for han hadde satt en av de syv palantírene i Elostirion, den av Arnors palantírer som så langt over havet. Elostirion sto i flere årtusen etter Gil-galads og Elendils død, og det var Círdan og alvene fra Lindon som tok vare på det; men palantíren som hadde vært i tårnet ble tatt med til Aman da Elrond og hans følge dro dit på slutten av det tredje tidevervet.