Su primera esposa fue Virginia Umaña Volio (1923-1980), con quien tuvo tres hijos, Georgina, Julieta y José María Rossi Umaña.