Era hijo del general Don José Villalba Riquelme (ministro de la guerra en los años 1919-20) y de Doña Luz Rubio Rivas, tuvo cinco hermanos todos ellos militares del ejército español, Ricardo Villalba Rubio, Antonio Villalba Rubio, Álvaro Villalba Rubio, Fernando Villalba Rubio y Carlos Villalba Rubio, Tuvo, además, cuatro hermanas: Luz, Adela, María Luisa e Isabel, casadas con oficiales del Ejército español.