南部小城吉诺卡斯特的一个穆斯林（什叶派拜克塔什教团）家族。他的近几代祖先中有几位担任过伊斯兰教神职人员——霍查（阿訇），所以这一家族便姓霍查。恩维尔的父亲哈利尔·霍查是个布匹商人，沉默寡言，安分守己。他同时也是个十分虔诚的穆斯林，成天读古兰经，研究阿拉伯语。他不善经商，因而门庭冷落。后来不得不带着较大的儿子去美国谋生五年。母亲居莱·霍查是个普通的家庭妇女，总是戴着面纱，操持家务。哈利尔和居莱生有8个孩子：5个女儿和3个儿子。2个女儿和1个儿子产后就夭折了。恩维尔小时候，刚上学时也差点死去，躺在床上高烧不