Familien til Isildur var av de trofaste, også kjent som Elendili (alvevennene), som forholdt seg trofaste til de gamle tradisjonene og holdt Valaene høyt i ære, og opprettholdt sitt vennskap til alvene. Isildur så ut til å ha en bra start på livet, men Númenor hadde lenge gått gjennom sin nedgangstid og var på sitt verste. Den Mørke Herren, Sauron, som tidligere hadde blitt tatt til fange av númenoreerne, hadde manipulert den samme kongen som fanget ham, Ar-Pharazôn, og blitt hans personlig rådgiver. Etter hvert klarte Sauron å overbevise kongen om å brenne det Hvite tre, Nimloth. Isildur ville ikke tillate dette guddommelige symbolet å forsvinne, spesielt etter at den forrige kongen, Tar-Palantir, hadde spådd at dersom det Hvite Treet forsvant, ville kongeslekten også forsvinne. En natt klarte Isildur å snike seg inn i gården hvor Det Hvite Treet stod og var bevoktet. Han klarte å redde en frukt fra treet, men ble oppdaget av vaktene og måtte kjempe seg ut. Heldigvis var han i forkledning slik at ingen gjenkjente ham. Han ble dødelig såret mens han flyktet, men klarte å komme seg i sikkerhet og plantet det nye treet. Så snart frøet fra Nimloth vokste ble Isildur raskt helbredet av dets magi.