El escultor y orfebre Juan de Arfe, que ayudó a Pompeo Leoni en sus trabajos escultóricos en el altar mayor de la Basílica de El Escorial, da fe de que Juan Bautista de Toledo nació en Madrid.