Det er lite informasjon om hans barndom, men det hevdes at han skal ha blitt kidnappet tre ganger som følge av sin vakre sangstemme. Han forlot Nederlandene da han var tolv år sammen med Ferrante Gonzaga og reiste til Mantova, Sicilia og senere til Milano (i årene 1547 til 1549). Mens han var i Milano ble han kjent med madrigalist Hoste da Reggio, noe som skulle være med på å forme hans tidligere musikalske stil.