Nacido en La Spezia, en una familia de la nobleza italiana con raíces españolas por parte de su madre, la marquesa Giovanna d'Ayala Valva, Scelsi recibió en compañía de su hermana Isabella, una educación particular, que él mismo calificó de «medieval».