Senere kom han i tjeneste hos betydelige herskere som Francesco Gonzaga og Guidobaldo da Montefeltro, hertug av Urbino. Hoffet i Urbino var et politisk og kulturelt kraftsentrum, der mange store kunstnere og intellektuelle befant seg, som Pietro Bembo, Giuliano de' Medici og Bernardo Dovizi. En av hans nærmeste venner ble maleren Raffaello Sanzio, som 1514-1515 utførte et berømt portrett av ham, som senere har havnet i Louvre. Castiglione og Rafael forfattet sammen et skrift om den romerske antikken.