В 1512 году (по другим сведениям около 1500), во время взятия Брешии французами, когда он с матерью спасался в соборе, французский солдат нанёс ему удар саблей в нижнюю часть лица (или язык), вследствие которой стал косноязычным. Всю жизнь он носил бороду, чтобы скрыть шрам. Поэтому товарищи прозвали его «заикой» (tartaglia) и прозвище это сделалось его фамилией.