1932 heiratete er Faika Minxhalliu, der gemeinsame Sohn war Prinz Skënder Zogu. Allerdings wurde die Ehe mit Faika aufgelöst und das Paar ließ sich 1933 scheiden. Im gleichen Jahr heiratete Zogu Hyrijet Allaj – seine vierte und letzte Eheschließung, aus der vier Kinder hervorgingen. Nach dem italienischen Einmarsch in Albanien siedelte er nach Istanbul über. Seine beiden Töchter Melita und Vera sowie der ältere Sohn Mirgin wuchsen auf, während der zweite Sohn Genc mit sechs Jahren 1944 in der Türkei starb – im gleichen Jahr wie sein Vater. Er wurde in Cannes begraben.