Hij werd geboren als tweede zoon van baron Willem van Montmorency en Anne Pot. Anne de Montmorency groeide samen met hertog Frans van Angoulême, de latere koning Frans I van Frankrijk, op. Op 17-jarige leeftijd ging hij als vrijwilliger in het leger van Lodewijk XII in Italië vechten. In 1515 onderscheidde hij zich aan de zijde van zijn jeugdvriend Frans I in de veldslag bij Marignano. Zijn deelname aan deze en andere veldslagen - Ravenna (1512), en Mézières (1521) - bezorgen hem de waardigheid van maarschalk van Frankrijk in 1522, in een tijd die geheel werd beheerst door vijandschap tussen Frankrijk en de Habsburgers, die Frankrijk aan alle landgrenzen konden bedreigen.