Fue hermano del poeta Juan Panero (1908–1937) y padre de Juan Luis Panero (1942–2013), Leopoldo María Panero (1948–2014) y José Moisés, «Michi» Panero (1951–2004), los dos primeros también poetas y el tercero intelectual y diletante.