חיל התותחנים מתבסס על שירות התותחנים של ההגנה שהוקם ב-12 במרץ 1948. למפקדו הראשון של השירות מונה יהודה גינצבורג (גדעון) וסגנו היה ישעיהו לחובר, גרעין המטה התכנס לראשונה ב-16 במרץ ובמקביל החלה מלאכת תרגום ספרות הדרכה בריטית לעברית. באפריל 1948 אורגן כנס של ותיקי התותחנים ששירתו בצבאות השונים במלחמת העולם השנייה, בעקבות הכנס גויסו 113 לוחמים ו-29 נוספים שהועברו מיחידות אחרות ולמפקד החיל החדש שהוקם מונה שמואל אדמון. ההגנה ניסתה לעשות מספר ניסיונות לרכוש תותחים. עם פרוץ מלחמת העצמאות היו בידי כוחות היישוב היהודי רק כ-5 תותחי שדה. שני תותחי השדה הראשונים נקנו מחיילים בריטיים, תותחי ה"נפוליונצ'יק" 65 מ"מ, שהביאו לנסיגה הסורית בקרב עמק הירדן ולנסיגה המצרית בקרב בארות יצחק. במהלך המלחמה נעשו רכישות רבות, כולל רכישה אחת מפורסמת של תותחים ממקסיקו , תותחי 75 מ"מ מיושנים שכונו בצה"ל "קוקרצ'ה" (ג'וק), שהשתתפו עוד במהפכה המקסיקנית בתחילת המאה ה-20. במבצע יואב, אשר סיומו בשיחרור באר שבע שבו לקח החיל חלק ניכר, השתתפו כבר 126 תותחי שדה. תותחים רבים נקנו במהלך מלחמת השחרור ופותחו מרגמות "ביתיות". הגדודים הראשונים שהוקמו היו גדודי מרגמות שנלחמו בצפון, בירושלים וכן מול המצרים. הסוללות הצטרפו לחטיבות כדי שיוכלו לתת להם סיוע ישיר.
ממלחמת העצמאות, למלחמת סיני ועד ששת הימים: המעבר ללוחמה ניידת.
בהתאם למבנה צה"ל הוצבו גדודי התותחנים כחלק מחטיבות החי"ר. ב-1954 נקנו תותחי ה 155 מ"מ הראשונים, תותחי ה"קלקיליה" ולקראת מלחמת קדש נקנו התותחים המתנייעים (תומ"ת) הראשונים, תותחי 105 מ"מ AMX, על מרכב של טנק צרפתי קל AMX-13.
במלחמת סיני הורגשה בעיית העבירות והמהירות של המערך הנייח של חיל התותחנים, לאחר שהיה קושי גדול להשיג את מהירות ההתקדמות של השריון וגדלה ההבנה בצורך לעבור לתומ"תים.
בשנים שלאחר מלחמת קדש פותחה תורת לחימה בחיל המותאמת ללחימה ניידת ושולבה עם תורת חיל השריון הישראלי. נקנו תומ"תים מסוג פריסט 105 מ"מ, ופותחו בצה"ל תומ"תים ומרגמות על בסיס תובות טנקי שרמן, כדוגמת ה-M-50, שהיוו את רוב תותחי צה"ל עד שנות ה-70. בשנות ה-50 נקנו טילי הנ"ט (נגד טנקים) הראשונים, אבל מערך הטילים הגיע לצה"ל עם הקמתה של יחידת טילי קרקע קרקע (טק"ק) ראשונה בצה"ל ב-1962. היו אלו טילי "לוז" שהוסבו לחיל הים ומשמשים אותו עד היום בשם "גבריאל". היחידה התפרקה לאחר כמה שנים עם העברת מערך הנ"ט לחי"ר.
הסיוע במלחמת ששת הימים.
לאחר שעבר החיל לתורה הדוגלת בניידות הוא היה מוכן היטב להתקדמות המהירה בסיני ב 1967. לגדודי התומ"תים כבר לא הייתה בעיה להדביק את קצב השריון וההתקדמות הייתה מדהימה ביחס לאיטיות שנראתה 11 שנים קודם במבצע קדש.
חיל התותחנים הפעיל במלחמת ששת הימים את הכלים הבאים.:
במלחמה זו פעלו בסיני תותחים מתנייעים AMX 105 תוצרת צרפת כסיוע לחטיבה 7.
החיל השתתף בקרבות רבים במהלך המלחמה, כאשר הבולטים ביניהם:
מלחמת ההתשה.
לאחר מלחמת ששת הימים החלה "המלחמה שלאחר המלחמה", מלחמה של תותחים מול תותחים. סוללות התותחים, שהיו פרוסות על תעלת סואץ, בגבול ירדן ובגבול סוריה ספגו הפגזות כבדות באופן קבוע. החיל ספג אבדות רבות. לאורך תעלת סואץ הוקם ציר במיוחד לצורכי תנועת החיל, שכונה "ציר החת"ם". בשנים אלו נראה שימוש הראשון בתותחי M-50 בקוטר 155 מ"מ ,שהפכו לעמוד השידרה של גדודי החיל, בתותח "רועם" 155 מ"מ ובתותח הכבד "רומח" M-107 בקוטר 175 מ"מ.
מלחמת יום הכיפורים.
במלחמת יום הכיפורים מצאה עצמה מדינת ישראל, ובכללה חיל התותחנים, במצב של מעטים מול רבים. מעט סוללות הארטילריה, שישבו ברמת הגולן, בקו בר-לב שבתעלה ובגבול לבנון, לא השתוו לכמות קני הארטילריה של האויב. בימים הראשונים סוללות התותחנים נלחמו תחת הפגזות כבדות. במיוחד זכורות ההפגזות ב"ציר החת"מ" שבתעלת סואץ משם נלחמו גדודי התותחנים במלחמת ההתשה. במהלך המלחמה אזלה לצה"ל התחמושת של פגזי 175 מ"מ ולכן הוחלט להחליף את הקנים של תומ"תי ה"רומח" M-107 לקנים בקליבר 203 מ"מ. התותחים המוסבים זכו לשם "קרדום" ונטלו חלק חשוב בהמשך הלחימה. עם המעבר לשלב ההתקפה שימש חיל התותחנים כחלק חשוב מהיוזמה הישראלית. תותחי M-107 ירו לעבר העיר דמשק במבצע מיוחד והוציאו זמנית את שדה התעופה הצבאי אל-מאזה מכלל פעולה.
כמו כן, ניסו התותחנים למנוע את כיבוש מוצב החרמון בידי הסורים על פי נוהל הידוע בשם "אש על כוחותינו" לפיו מסתגרים אנשי המוצב בתוך הבונקרים במוצב בעוד התותחנים יורים אש על המוצב עצמו כדי לפגוע באויב שנמצא מחוץ לבונקרים. אולם ניסיון זה נכשל וכוחות הקומנדו הסורי הצליחו לכבוש את מוצב החרמון. במלחמת יום הכיפורים עשה צה"ל לראשונה שימוש בתותחי ה-M-109 "רוכב" (עם הקנה הקצר), בשני גדודים, גדוד "נמר" הסדיר וגדוד המילואים 899 (כינויו בקשר "פרסום").
לאחר מלחמת יום הכיפורים, הסכימו השלטונות האמריקאים לספק לצה"ל גדוד משגרי "לאנס" עם מספר מוגבל של טילים. בעקבות כך הוקם בשנת 1975 גדוד ה"מנפץ", גדוד לאנס סדיר מספר 9275 שיעודו היה לפגוע במטרות אסטרטגיות של האויב (כמו טילי נ"מ) והגיע לטווח של 75 ק"מ, עם רש"ק נפיץ. הגדוד היה בשירות מבצעי עד לתחילת שנות ה-90.
מלחמת לבנון.
בשנים שלפני מבצע שלום הגליל עבר חיל התותחנים שינויים רבים. צה"ל רכש עבור החיל תומ"תים בקליבר 155 מ"מ מדגם M-109 האמריקאי, שהותאמו ושודרגו לצורכי צה"ל. דגם זה קיבל את השם "רוכב" 155 מ"מ והם קיימים עד היום במערך המילואים של צה"ל. כמו כן נקנו נגמ"שים לצורך ניוד גמיש יותר של תחמושת ארטילרית (אלפ"א - אמצעי לנשיאת פגזים ארטילריים) שמשמשים עד היום את חיל התותחנים ונקנו סוגים שונים של מטל"רים. במבצע שלום הגליל, שפתח את מלחמת לבנון הראשונה, תוכנן לחיל התותחנים תפקיד משמעותי: אות הפתיחה של המבצע ניתן עם ירי אלפי פגזים אל עבר יעדים בלבנון. התותחנים המשיכו עם הכוח המסתער וליוו את כל הכוחות במהלך הלחימה. בהמשך המלחמה אף הונחתה פלגת תותחים מגדוד "רשף" דרך הים יחד עם כוח צנחנים. מאוחר יותר שימשו התומ"תים בלחימה בתוך העיר ביירות על ידי ירי בכינון ישיר לתוך חלונות של בניינים שקני הטנקים לא יכלו להגיע אליהם. בסיכום המלחמה אמר הרמטכ"ל רב-אלוף רפאל איתן: "חיל התותחנים נכנס לתודעה - הוא בתודעה ... במלחמה הזאת אף אחד לא זז בלי התותחנים".
חיל התותחנים בשנות ה-80 וה-90: מבצע דין וחשבון וענבי זעם.
החל מתום מלחמת לבנון ועד לנסיגה מלבנון בשנת 2000 - תקופה של נוכחות צה"לית בדרום לבנון - לקח חיל התותחנים חלק משמעותי בשגרת הלחימה ובהגנה על גבולה הצפוני של מדינת ישראל, מתוך מוצבי קבע על קו הגבול ובעומק רצועת הביטחון. לוחמי התותחנים השתתפו בקרבות ארטילריים, לעיתים יומיומיים, בהם ניסו לפגוע במרגמות ובמשגרי רקטות של החזבאללה ושל ארגונים לבנוניים אחרים, אחרי שאלה ירו לעבר מוצבי צה"ל ברצועה. יזכרו במיוחד שני מבצעים יזומים בעקבות התחממות הגזרה הצפונית, בהם עיקר הפעילות הצה"לית כללה ירי ארטילרי של אלפי פגזים ופעילות של ח"א ("דין וחשבון" בשנת 1993, ו"ענבי זעם" בשנת 1996).
עד הנסיגה מלבנון תחזק חיל התותחנים את מוצב שרייפה ברצועת הביטחון בלבנון.
העשור הראשון של המאה ה-21.
עם יציאת צה"ל מלבנון, עיקר התפקוד המבצעי של החיל, בייעודו המקורי, היה השבת אש במקרה הצורך, בגבול הצפון אל מול ירי או ניסיונות חדירה של החזבאללה, כולל בזמן מבצע חומת מגן בו התבצעה פעילות ענפה כנגד ירי חוזר ונשנה של החזבאללה. בתקופת מבצע חומת מגן סוללת תותחים פגעה והרגה 6 מחבלים של חזבאללה.
חיילי חיל התותחנים משתתפים עד היום באופן פעיל בלחימה ובשגרה ביהודה, שומרון ועזה בתפקידים שונים שלא קשורים לארטילריה דווקא, אלא במשימות ביטחון שוטף.
בעקבות ירי רקטות קסאם גם אחרי ביצוע תוכנית ההתנתקות, פרש צה"ל סוללת תותחים (של "דוהר" M-109) ליד קיבוץ נחל עוז. ב-27 בספטמבר 2005, ירתה הסוללה פגזים אל תוך רצועת עזה. היה זה הירי הארטילרי הראשון לרצועה מזה 38 שנים. לקראת סוף אוקטובר פרש צה"ל סוללת תותחים נוספת, ליד קיבוץ ניר יצחק, שחולשת על דרום הרצועה.
במלחמת לבנון השנייה (2006) היה חיל התותחנים מוקד האש השני בעוצמתו אחרי חיל האוויר. פעילות התותחנים התרכזה בסיוע לחילות היבשה במתקפה ובמגננה, בזיהוי שיגורי קטיושות, בהשמדת קנים וביצירת לחץ על החזבאללה על ידי הפגזות מסביב לכפרים. במהלך המלחמה ירו לוחמי החיל למעלה 170,000 פגזים אל עבר כוחות חזבאללה וכ-1,800 רקטות מנתץ.
במבצע עופרת יצוקה (2008–2009) מילא החיל תפקיד חשוב בריכוך המטרות ברחבי הרצועה, שיתוק וחיסול מחבלים ומקורות אש והגנה על הכוחות המתמרנים בתוך הרצועה.
החיל פרס שני גדודי ארטילריה מעוצבת עמוד האש: גדוד 55 וגדוד 402, אשר יחדיו ירו אלפי פגזים אל עבר רצועת עזה.
כוחות החיל היו הכוחות הלוחמים האחרונים אשר נסוגו מרצועת עזה בהתאם להסכם הרגיעה.
העשור השני של המאה ה-21.
בשוטף המשיך החיל בביצוע תעסוקות מבצעיות של סיוע ארטילרי וקווי חי"ר. עקב מלחמת האזרחים בסוריה התחממה הגזרה הצפונית ופעמים רבות גלשה הלחימה לעבר רמת הגולן ואף גבול לבנון. כוחות החיל לקחו חלק משמעותי בהגנה על הגבול כאשר כוחות מיחידת "מיתר" ירו טילי תמוז לעבר כוחות סורים אשר ירו מרגמות לעבר שטחי ישראל. בנוסף סוללות 155 מ"מ ביצעו מספר פעמים ירי לעבר סוריה ולעבר לבנון למטרת מיסוך כוחות והשמדה.