Alain Afflelou est issu d'une famille de confession juive originaire de Mascara, dans le département d'Oran puis de Mostaganem, en Algérie française. Ses parents, Isaac Afflelou et Fernande Amsellem, sont boulangers à - rue Jean-Jacques Rousseau, à la boulangerie « La Gerbe d’or ». En 1962, à l'indépendance de l'Algérie, il part en exil avec ses parents, sa sœur, Éliette, et son frère, Maurice, comme des centaines de milliers de Pieds-Noirs, et s'installe à Bordeaux en France.