Al salir de la cárcel en 1957 empieza para el músico una serie de tropiezos serios para su trayectoria, puesto que pierde el apoyo de los patrocinantes de su programa "A Gozar, Muchachos", lo cual marca la disolución de su orquesta y el final de su contrato radial.