Por otro lado, Silvestre se casó con la cantante estadounidense Jule Klarecy con quien tuvo una hija, Carmen Revueltas Klarecy ―más tarde llamada Carmen Montoya y Carmen Peers― (1922-1995), que fue bailarina de ballet y de flamenco.