במאות הבאות, עיקר השימוש בפילי מלחמה באירופה היה כנגד האימפריה הרומית, מקרב הרקלה (מלחמת פירוס, 280 לפנה"ס) ועד צעדתו של חניבעל דרך האלפים במלחמה הפונית השנייה, בה הפילים הפחידו את הלגיונות הרומים. כך, למשל מתאר פלוטרכוס את תפקידם המכריע של הפילים במלחמת פירוס אך כמו אלכסנדר הגדול גם הרומאים מצאו דרכים להתמודד מול הפילים. בקרב זאמה, הקרב האחרון של חניבעל, הכוחות הרומים הפכו את הסתערות הפילים לבלתי יעילה על ידי אימוצו של מערך קרב שסיפק לפילים מעברים דרכם יכלו עבור. בקרב תפסוס (46 לפנה"ס), צייד יוליוס קיסר את הלגיון החמישי, לגיון שהורכב על טהרת הגאלים, בגרזנים והורה ללגיונרים שלו לכוון את מכותיהם לרגלי הפילים. הלגיון עמד בהסתערות והפילים נעשו לסימלו. קרב זה היה הקרב האחרון בו נעשה שימוש משמעותי בפילים במערב.