Estuvo casado con la cantante y bailaora Lola Flores (1923-1995), con la que tuvo tres hijos, los cantantes Lolita Flores (1958), Antonio Flores (1961-1995) y Rosario Flores (1963).