Su padre Halil Hoxha era un próspero comerciante textil musulmán, mientras que su tío Hysen Hoxha era un destacado líder nacionalista y firmante de la Declaración de Independencia de Albania en 1912.