Hijo del poeta Leopoldo Panero (1909–1962) y de la escritora Felicidad Blanc (1913–1990), hermano del poeta Leopoldo María Panero (1948–2014) y Michi Panero (1951–2004) y sobrino del poeta Juan Panero (1908–1937), creció en el seno de una familia acomodada recibiendo educación en El Escorial y luego en Londres.