Балтазар Кастільйоне народився поблизу Мантуї. У січні 1491 року, під час урочистостей з нагоди одруження Беатріче д'Есте і Людовіко Сфорца, був представлений Ізабеллі д'Есте, молодій дружині мантуанського маркіза Франческо Гонзага. Отримав гуманітарну освіту в Мілані. З 1501 року виконував дипломатичні місії при різних італійських дворах. У 1503 році вперше побував в Римі; в складі почту герцога Мантуанського брав участь у франко-італійських війнах; у жовтні того ж року брав участь у битві при Гарільяно. З 1504 року — на службі у герцога Урбинського, що відправив Кастільйоне з місіями до Англії (1506) і Франції (1507).