חיל התותחנים מתבסס על שירות התותחנים של ההגנה שהוקם ב-12 במרץ 1948. למפקדו הראשון של השירות מונה יהודה גינצבורג (גדעון) וסגנו היה ישעיהו לחובר, גרעין המטה התכנס לראשונה ב-16 במרץ ובמקביל החלה מלאכת תרגום ספרות הדרכה בריטית לעברית. באפריל 1948 אורגן כנס של ותיקי התותחנים ששירתו בצבאות השונים במלחמת העולם השנייה, בעקבות הכנס גויסו 113 לוחמים ו-29 נוספים שהועברו מיחידות אחרות ולמפקד החיל החדש שהוקם מונה שמואל אדמון. ההגנה ניסתה לעשות מספר ניסיונות לרכוש תותחים. עם פרוץ מלחמת העצמאות היו בידי כוחות היישוב היהודי רק כ-5 תותחי שדה. שני תותחי השדה הראשונים נקנו מחיילים בריטיים, תותחי ה"נפוליונצ'יק" 65 מ"מ, שהביאו לנסיגה הסורית בקרב עמק הירדן ולנסיגה המצרית בקרב בארות יצחק. במהלך המלחמה נעשו רכישות רבות, כולל רכישה אחת מפורסמת של תותחים ממקסיקו , תותחי 75 מ"מ מיושנים שכונו בצה"ל "קוקרצ'ה" (ג'וק), שהשתתפו עוד במהפכה המקסיקנית בתחילת המאה ה-20. במבצע יואב, אשר סיומו בשיחרור באר שבע שבו לקח החיל חלק ניכר, השתתפו כבר 126 תותחי שדה. תותחים רבים נקנו במהלך מלחמת השחרור ופותחו מרגמות "ביתיות". הגדודים הראשונים שהוקמו היו גדודי מרגמות שנלחמו בצפון, בירושלים וכן מול המצרים. הסוללות הצטרפו לחטיבות כדי שיוכלו לתת להם סיוע ישיר.