Almásy ble født i en ubetitlet adelig ungarsk familie. Han gikk på kostskole i Eastbourne i England og lærte også å fly der. Under første verdenskrig tjenestegjorde han i det østerriksk-ungarske luftvåpenet. Han var en støttespiller for den ungarske konge Karl (som også var østerriksk keiser) etter avskaffelsen av monarkiet, og ble muligens utnevnt til greve av den avsatte konge, en tittel han bare brukte utenfor Ungarn.