בשנת 1940 השתתף במערכה על צרפת, הועלה לדרגת מיור (רב-סרן) ונתמנה לקצין קישור בין הפלדמרשל ולטר פון בראוכיטש, המפקד העליון של צבא היבשה הגרמני, לבין מפקד הקורפוס ה-19 הגנרל היינץ גודריאן. ביוני 1940 הוצב למטהו של הגנרל פרנץ האלדר, ראש המטה של צבא היבשה. לאחר פלישת גרמניה לברית המועצות ביולי 1941 הועלה לדרגת אוברסט-לויטננט (סגן-אלוף) ונשלח לחזית המזרחית.
קצין מודיעין בחזית המזרחית.
בזירת המלחמה עם ברית המועצות הוצב גהלן כקצין מודיעין בכיר לארגון "צבאות זרים מזרח" (בגרמנית: Fremde Heere Ost) שתפקידו היה לנתח ולהעריך את המידע המודיעיני על ברית המועצות וארצות מזרח אירופה.
באפריל 1942 נתמנה למפקד הארגון "צבאות זרים מזרח" ובדצמבר אותה שנה הועלה לדרגת אוברסט (אלוף-משנה). בסוף שנת 1944 הועלה לדרגת General Major (תת-אלוף). גהלן העלה את ארגונו על פסים מקצועיים וגייס לשורותיו אקדמאים מתחומים שונים, גאוגרפים, אנתרופולוגים ועורכי דין.
בין השנים 1942 ל-1945 צבר ארגונו של גהלן מידע רב ובעל ערך על הצבא האדום, מפקדיו, כלי נשקו וטקטיקות הקרב שלו. הארגון צבר חומר מודיעני רב מחקירתם של שבויי מלחמה סובייטיים, בעיקר מאלו מהם שהיו אנטי-קומוניסטים.
גהלן פעל ביחד עם גנרל האס אס ולטר שלנברג, ראש שירותי הביון המאוחדים של גרמניה הנאצית, כדי להקים את צבאו של הגנרל הסובייטי אנדריי ולאסוב, שהיה צבא שבויים סובייטיים שלחם לצד הצבא הנאצי נגד הצבא האדום.
עם התהפך גלגל המלחמה, כאשר תבוסתה של גרמניה הייתה כבר בגדר ודאות, החל גהלן, בסוף שנת 1944, להתכונן לתקופה שלאחר המלחמה. על סמך ניסיונו המודיעיני הוא פיתח השערה, שהתבררה כנכונה, כי לאחר המלחמה יתחולל עימות בין מעצמות המערב לברית המועצות, והחל להתכונן לכך. בתחילת חודש מרץ 1945 פעל גהלן בעזרת הצוות שלו להעתקת החומר המודיעני שצבר למיקרופילם. את הקבצים המועתקים ארז בחביות אטומות למים אותן קבר באלפים האוסטריים.
מעורבותו בקשר העשרים ביולי.
בתוך תחומי ארגונו התיר גהלן לאלו מקציניו שהיו ממתנגדי המשטר הנאצי לנהל דיונים חתרניים נגד המשטר. בימים האחרונים שלפני קשר העשרים ביולי, ההתנקשות בהיטלר שהייתה ב-20 ביולי 1944, שהה גהלן בברגהוף, ביתו הפרטי של היטלר שהיה מתחם האירוח והשליטה הנאצי שבקרבת העיירה ברכטסגאדן שבבוואריה והשתתף בדיוני הקושרים לקראת ההתנקשות.
בספר זכרונותיו שיצא לאור בשנת 1971 "השירות: זכרונותיו של גנרל ריינהד גהלן" (The Service: The Memoirs of General Reinhard Gehlen) טען גהלן כי בשנת 1942 יצרו עמו קשר שלושה קצינים בכירים מקושרי הקשר נגד היטלר, קלאוס שנק פון שטאופנברג הנינג פון טרסקו ואדולף הויזינגר וצירפו אותו לקושרים. תפקידו נועד לדבריו להיות שולי ולאחר כישלון הקשר הצליח, לטענתו, להעלים את חלקו בקשר וניצל מהנקמה העקובה בדם שהייתה מנת חלקם של הקושרים האחרים.
חמישה חודשים לאחר מכן היה שמו של גהלן קשור לקונפליקט נוסף עם היטלר. היה זה בדצמבר 1944, כאשר כוחות הצבא האדום שטפו את פולין והתקדמו לעבר פרוסיה המזרחית, אז הגיע הגנרל היינץ גודריאן, ראש המטה הכללי של צבא היבשה, למטהו של היטלר ודרש להפסיק את הקרב על הבליטה, מתקפת הנגד של הוורמאכט שנערכה אז באזור יערות הארדנים שבגבול בלגיה-צרפת. טענתו הייתה כי מתקפה זאת גורמת לאבידות כבדות, בעוד שהכוחות המשתתפים בה דרושים כדי להציל את הכוחות שלחמו בפולין, העומדים בפני תבוסה. הוא דרש כי הכוחות במערב יופנו מזרחה לחזית הפולנית. לחיזוק דרישתו הראה להיטלר תזכיר המפרט את מאזן הכוחות הקריטי בחזית פולין. דרישותיו נענו באופן חלקי בלבד והוא קיבל תגבורת קלה. גודריאן חזר לחזית המזרחית ונוכח לראות כי אין כל שיפור במצב הנואש ובראשית ינואר 1945 החליט לפנות שוב בפעם האחרונה להיטלר. כאשר הציג בפניו גודריאן תזכיר שנערך על ידי הגנרל גהלן, המפרט את סדרי הגודל של הכוחות הרוסיים, הכריז היטלר שהם "אידיוטיים לגמרי" ו"שקר גמור" ונובעים מתרמית של האויב ופקד להעביר את גהלן, שכתב את הערכת המצב, לבית משוגעים. בהשתדלותו של גודריאן החליט היטלר לבסוף לבטל פקודה זאת.
בשירות האמריקאים.
ב-22 במאי 1945, שבועיים לאחר כניעת גרמניה הנאצית, נכנע גהלן בבוואריה ל"חיל הריגול המסכל" (CIC) של צבא ארצות הברית. גהלן הציע לשוביו את המידע שהטמין על ברית המועצות ואת פרטי רשת המודיעים שלו בתוככי ברית המועצות. בתמורה דרש את שחרורו ושחרורם מן השבי של עמיתיו ועוזריו שהוחזקו במחנות שבויים. האמריקאים נענו להצעתו וצירפו אליו שבעה מאנשיו שהיו בשבי. הכדים עם המידע שהוטמנו על ידי גהלן הוצאו מן הקרקע. ב-24 באוגוסט 1945, שלושה חודשים לאחר כניעת גרמניה ושבועיים לאחר כניעתה של יפן, הוטס גהלן, לבוש במדי קצין אמריקאי כשעוזריו נלווים אליו, במטוס תובלה של צבא ארצות הברית לשדה התעופה הלאומי של וושינגטון.
באותה עת הובאו לארצות הברית במסגרת מבצע פייפרקליפ מדענים גרמניים רבים ובהם מדען הטילים ורנר פון בראון ומדען הגרעין אוטו האן, שאף להם נודעה בעיני האמריקאים חשיבות רבה בעימות שהתפתח עם ברית המועצות. קצין מודיעין נוסף שהובא אז לארצות הברית היה אוטו פון בולשווינג, איש האס דה, סוכנות המודיעין של המפלגה הנאצית.
חקירתו של גהלן והערכת אמינות המידע שמסר, נערכו יותר משנה. אחת השאלות שנבחנו בהערכת אמינות המידע שסיפק הייתה, האם גהלן הוא חלק מפעולת עוקץ של הריגול הנגדי הסובייטי. ביולי 1946 גהלן שוחרר רשמית מהשבי והוטס לגרמניה, בה החל לפעול בשירותו של המודיעין האמריקאי להקמת מערך של קציני מודיעין גרמנים לשעבר, שניתן לו שם הכיסוי "ארגון הפיתוח התעשייתי של דרום גרמניה". בשנת 1947 הועברה האחריות על תיק גהלן לידי ה-CIA, סוכנות הביון המרכזית של ארצות הברית שנוסדה אז.
גהלן הצליח להקים מחדש את רשת הסוכנים בגייסו אליה כ-350 סוכנים, ואף הכשיר סוכנים חדשים ובמשך הזמן הגיע מספרם לכ-4,000. לארגון ניתן הכינוי "ארגון גהלן" (באנגלית: Gehlen Organization או Gehlen Org). ראש סוכנות הביון המרכזית באותה עת, ריצ'רד הלמס טען, שבתקופת שיתוף הפעולה עם גהלן, הושגו כמויות משמעותיות של מידע איכותי על הסובייטים. עם זאת, נלוו לכך גם קשיים עקב מחסור בסוכנים המתאימים לעבודות שטח. המועמדים לתפקיד הגיעו ממגוון רב של רקעים ונטיות, חלקם כאלו שנחשדו כתומכי הקומוניסטים, ואחרים שנחשדו מאחר ששירתו במשטר הנאצי. עקב קשיים אלה והחשש ממידע מטעה שישתלו הסובייטים, איכות התוצאות של עבודתם המודיעינית של סוכני הארגון החלה להתדרדר, וסוכנים סובייטים הצליחו לחדור לארגון.
חרף הקשיים הללו, במשך שנים רבות במהלך המלחמה הקרה היוו סוכני ארגונו של גהלן את המקור העיקרי של סוכנות הביון המרכזית על הנעשה בברית המועצות ובגוש הסובייטי. כל שבוי מלחמה גרמני שחזר מהשבי הסובייטי בין השנים 1947 ל-1955 נחקר על ידי אנשי הארגון. אנשיו יצרו קשרים עם ארגוני מהגרים ממזרח אירופה והארגון החדיר סוכנים למדינות הבלטיות ולאוקראינה. הצלחה רבה נחל הארגון בשנת 1948 במה שכינה "מבצע בוהמיה", שבו הצליח לארגן את עריקתם למערב גרמניה של שני בכירים בשירות המודיעין הצבאי של צ'כוסלובקיה כשברשותם תיקים רבים ומידע רב.
לא זו בלבד שהארגון נמצא בסכנת חדירה של סוכנים מזרח גרמניים, אלא שהארגון זכה ליחס עוין מצד שירותי המודיעין המערביים ובעיקר אנשי סוכנות הביון הבריטית ה-SIS. כך או כך קרב סופו של הקשר בין הארגון לסוכנות הביון האמריקאית והגיע מועד שילובו במערך השלטוני של גרמניה המערבית.
בשירות הביון הפדרלי הגרמני.
ב-1 באפריל 1955 העבירה סוכנות הביון המרכזית את ארגונו של גהלן לכפיפותה של ממשלת מערב גרמניה. הארגון היה הגרעין ממנו נבנה שירות הביון הפדרלי הגרמני (בגרמנית: Bundesnachrichtendienst או BND). ריינהרד גהלן נתמנה לראש השירות. הוא כיהן בתפקיד זה 13 שנה, עד לשנת 1968, שאז נאלץ לפרוש עקב חשיפתו של עובד השירות, קצין אס אס לשעבר בשם היינץ הלפה, שנתגלה כסוכן סובייטי. עוד קודם לכן גילה הקנצלר המערב גרמני, קונראד אדנאואר, יחס מתנכר לגהלן שתחת מנהיגותו חלה ירידה ביעילותו של השירות. לאחר פרישתו זכה גהלן לגמלאות של פקיד בכיר ביותר שתוארו Ministerialdirektor וככל הנראה זכה גם לגמלאות מסוכנות הביון המרכזית. ריינהרד גהלן נפטר 11 שנים לאחר מכן, בשנת 1979.
בשנת 1998 נחקק בארצות הברית החוק לחשיפת פשעי המלחמה הנאצים (Nazi War Crimes Disclosure Act) ובשנת 1999 מינה הנשיא ביל קלינטון ועדה לפיקוח על הפרסום של תיקי ביון הקשורים למלחמת העולם השנייה. על פי החוק האמור והחלטת הנשיא פרסם הארכיון לביטחון לאומי (National Security Archive) בוושינגטון ב-4 בפברואר 2005, 26 שנה לאחר מותו של גהלן דו"ח על ארגון גהלן. על פי הדו"ח העסיק גהלן בארגונו לפחות 100 קציני אס דה וגסטפו לשעבר ובהם פושעי מלחמה ידועים. מסקנתו של הדו"ח הייתה שהדבר עזר למאמצי התעמולה של ברית ורשה ואף סייע לק.ג.ב. לבצע חדירות לארגון.
הקשר הישראלי.