הלגיון השני הוקם בשלהי תקופת הרפובליקה המאוחרת. לפי סברה אחת הוקם הלגיון על ידי יוליוס קיסר בשם הלגיון השני סבינה או הלגיון השני גאליקה בשנת 48 לפנה"ס לערך. לפי סברה אחרת הוקם הלגיון על ידי הקונסול גאיוס ויביוס פאנסה (Gaius Vibius Pansa) בשנת 43 לפנה"ס. לאחר חיסול הכוחות הרפובליקאים בקרב פיליפי, נשבע הלגיון אמונים לאוקטביוס (לימים אוגוסטוס קיסר). הלגיון השני המקורי פורק לאחר קרב אקטיום (31 לפנה"ס).