Era hijo de Rafael de Villalba Aguayo, primer ayudante médico del cuerpo de sanidad militar con destino en Puerto Rico, y de Adelaida Riquelme O’Crowley (erróneamente llamada O'Cruley, O'Crouley o Veranley en algunos documentos), natural de Cádiz y directora de las Escuelas Normales de varias ciudades españolas .