Крестной матерью его была королева Анна Бретонская, в честь которой он получил своё имя (по-французски женское имя Анна и мужское Анн пишутся и произносятся одинаково). Благодаря своему родственнику, Артю Гуффье, юный Анн воспитывался вместе с графом Ангулемским, будущим Франциском I. Бок о бок с королём он участвовал в битвах при Мариньяно (1515) и Бикокке (1522). В 1522 году был назначен маршалом Франции. В 1525-м в битве при Павии вместе с королём попал в плен.