希尔德·利瓦伊生于德国法兰克福。父亲名叫阿道夫·利瓦伊（），是一家金属公司的销售经理，母亲名为克莱拉（，原姓赖斯，即Reis），是一位印刷工人的女儿。她还有一个哥哥，名叫埃德温（）。幼年时期，利瓦伊显示出了音乐天赋，很早便学会了钢琴。夏天的时候，她会去巴伐利亚找同辈表亲们，在那里一同听理查德·施特劳斯和等音乐家的演出。虽然都是犹太人，利瓦伊的家庭并不信犹太教，因此也不算当地犹太社区的一员。但当利瓦伊入小学时，信仰却被列为犹太教。宗教训练在学校是强制性的，因此她必须与当地的一位拉比一同上宗教课。这当即引发