גוטרמן נולד ב-1935 בפלוצק שבפולין לשמחה גוטרמן, שהיה בעל בית מלאכה לסריגים, משורר ומחזאי. כשפרצה מלחמת העולם השנייה היה בן ארבע, המשפחה גורשה מעירם והם שהו שנתיים בגטו. ב-1941 גורשו מהגטו והמשפחה הסתתרה אצל פולנים ועברה מספר מקומות מסתור. אביו הצטרף למחתרת הפולנית ונפל בקרב ביום הראשון של מרד ורשה. יעקב הסתתר עם משפחה בכפר. בסוף המלחמה התאחד עם אמו. ב-1950, כשהיה בן 15, עלה לישראל עם אמו ואביו החורג והגיע לנמל חיפה, משם הועברו למחנה העולים שער העלייה בחיפה, משם הגיעו למעברה בעכו, ומשם הגיע לקיבוץ עין חרוד. הוא נישא לרותי והתגורר בעיר מגוריה חדרה. לזוג נולדו שני בנים. כשבניו עוד היו ילדים, חלתה רותי בסרטן ונפטרה. גוטרמן החל ללמד ספרות בקיבוץ העוגן, וכעבור שנה הוצע לו להיות חבר קיבוץ – הצעה נדירה באותם ימים למשפחה חד-הורית. שם הוא מתגורר עד היום. כעבור כמה שנים הכיר את אניי, דיילת אוויר ילידת דנמרק. הוא נישא לה ולזוג נולדו שתי בנות. בנו שירת בסיירת גולני ונהרג ב-1982 בקרב על הבופור במלחמת לבנון הראשונה. לאחר מות בנו היה לאחד ממובילי המחאה נגד המלחמה. הוא הפגין, פרסם מאמרים בעיתונות, כתב שירים וערך ספר שירי מחאה של משוררים ישראלים נגד המלחמה. כיום הוא חבר בפורום המשפחות השכולות.