Castiglione se instaló en Urbino en el año 1504, cuando Rafael ya no residía en ella; sin embargo, la visitaba muy a menudo, lo que dio como resultado una extensa amistad.