בשובו לארץ ישראל ב-1946, המשיך ללמוד באוניברסיטה העברית בירושלים ארכאולוגיה, אגיפטולוגיה, היסטוריה וגאוגרפיה-היסטורית, במסלול ישיר לתואר מאסטר, כנהוג אז. הוא למד שנה ובאמצע 1947 דרש לחזור לשירות מלא ב"הגנה" והפך לקצין המודיעין של חבל ב' של ירושלים. במהלך מלחמת העצמאות הקים את המודיעין הקרבי בשתי החטיבות של ירושלים: חטיבת עציוני וחטיבת מחוז ירושלים, ובמסגרת זו היה גם מעורב בחקירת פרשת דיר יאסין. ב-1949, כשהקימו את מחלקת המודיעין במטה הכללי, נקרא גיחון להקים ולנהל את "ענף מחקר", כיום חטיבת המחקר באגף המודיעין. היה לאחד משלושת סגניו של בנימין גיבלי, ראש המחלקה. התפקיד כרך את העיבוד, ההערכה והתוצא של כל המידע אשר נאסף על ידי זרועות האיסוף של החיל ושאר סוכנויות הביון לרבות הגשת הערכת המצב השנתית עבור ראשי הצבא והממשלה. במסגרת שירותו הצבאי עבר ב-1951 קורס מפקדי גדודים (מג"דים) וסיים את המכללה הבין-זרועית לפיקוד ולמטה במחזור 1959.