בנובמבר 1995 מונה שמגר לעמוד בראש ועדת החקירה לעניין רצח ראש הממשלה צחק רבין, ועדת חקירה ממלכתית שהקימה הממשלה כדי לחקור את רצח ראש הממשלה יצחק רבין, את כשל האבטחה סביבו ואת כל נושא אבטחת אישים בישראל. מסקנות הוועדה היו שהרוצח יגאל עמיר פעל לבדו, השב"כ נכשל כשל חמור באבטחת ראש הממשלה לרבות כשל מודיעיני חמור. לאחר שהבין שהוועדה מייחסת לו אחריות למחדלים, התפטר כרמי גילון מתפקידו כראש השב"כ. בעקבות מסקנות הוועדה בוצע שינוי מהותי באופן העבודה של היחידה לאבטחת אישים בשב"כ, ואבטחת האישים בישראל הוגברה והוחמרה במידה רבה.