エルミア・デ・ホーリー
ホーリーによると、彼の本名はエルミア・ドーリー=ブータン(Elmyr Dory-Boutin)で、父はオーストリア=ハンガリー帝国の外交官、母は銀行家一族の出身だった。本名はホフマン・エレメール・アルベルト(Hoffmann Elemér Albert)だったとの説もある。彼は両親の判断で、複数の住み込みの女性家庭教師に委ねられて育った。16歳の時に両親は離婚した。
ホーリーはブダペストに遊学し、同性愛の習慣を持つようになった。18歳の時、ミュンヘンのハインマン美術アカデミーに入学し、絵画の古典技法を学んだ。また、1926年にはパリへ留学し、グランド・ショミエール美術学校に入学、ここでフェルナン・レジェに教わっている。贅沢の味も覚えたが、結局ハンガリーに帰国した。
ハンガリーに帰国後、ホーリーはある英国人ジャーナリストと知り合ったが、この人物がスパイの容疑をかけられたため、彼もまた政治犯として投獄された。彼は似顔絵を描くことで獄卒に取り入り、第二次世界大戦中に釈放されたが、1年もしないうちに、今度はユダヤ人としてドイツの強制収容所に送られた。激しい暴行を受けた彼はベルリンの医療刑務所に移された際に脱獄し、ハンガリーに帰国した。しかし両親は既に殺されており、遺産は没収されていたため、手持ちの金でフランスに移住し、画家として生計を立てることを試みた。