Debido a la artritis, Silvestre Vargas se vio forzado a retirarse gradualmente como músico a finales de los años 50, aunque en las grabaciones solo se limitaba a "echar los gritos" y se mantenía en labores de administración y relaciones públicas.