Estuvo casado con la cantante Marta Mendonça, con quien procreó dos hijos, Deusa Dutra y Altemar Dutra Junior, siendo este último, heredero de la tradición artística.