Su mujer, Alfonsina Bueno Ester, es deportada al campo de Ravensbrück y en los últimos meses de la guerra a Mauthausen, desde donde tanto ella como José Ester serán evacuados hacia Francia por la Cruz Roja Internacional en abril de 1945.