Hermano del poeta Leopoldo Panero (1909–1962) y tío de Juan Luis Panero (1942–2013), Leopoldo María Panero (1948–2014) y Michi Panero (1951–2004), los dos primeros también poetas.