ההתנגדות הציבורית בישראל כלפי גרמניה התגברה ב-1962 לאור פעילות המדענים הגרמנים במצרים שסייעו בפיתוח טילים שעל פי הפרסומים בעיתונות התקופה יכלו לפגוע קשות בישראל.
כינון יחסים דיפלומטיים.
בשנות ה-60 היה יחסו של ראש ממשלת גרמניה, לודוויג ארהרד, אוהד לישראל וליהודים. בדומה לקודמו, אדנאואר, היה גם ארהרד מעוניין בכינון קשרים דיפלומטיים עם ישראל, אך אף הוא נרתע מפעולה בנושא, בעיקר כיוון שחשש מהתגובות הצפויות בעולם הערבי.
המצב הפוליטי בגרמניה השתנה באופן משמעותי בעקבות מספר אירועים ב-1965:
גרמניה הבינה כי אם תתרחש החרפה במזרח התיכון או שתפרוץ מלחמה, העולם יטען כי גרמניה גרמה להפרת האיזון באזור, וכי אם ינותקו היחסים הדיפלומטיים בין גרמניה המערבית ומצרים, ייווצר תקדים בעל השלכות חמורות שיצרו את צעדי המדיניות בנושא היחסים בין גרמניה המזרחית לגרמניה המערבית. גרמניה המערבית העדיפה לכונן יחסים דיפלומטיים עם ישראל, כיוון שחשבה שפעולה כזו תחזיר את היציבות למזרח התיכון, תבטל את הצורך באספקת נשק לישראל ותאפשר להמיר אותה בסיוע כלכלי; כמו כן, גורמים עוינים בקואליציה יעזבו לפחות לזמן מה את עניין חוקי ההתיישנות; לבסוף, גם אם מצרים ומדינות נוספות ינתקו את קשריהם הדיפלומטיים, גרמניה תהיה מסוגלת לספוג זאת.
קורט בירנבך מונה לעסוק בצדדים הטכניים. ראשית, הקמת קונסוליות בשתי המדינות, שיהפכו בבוא העת לשגרירויות מלאות; שנית, סיוע כלכלי ופגישה אישית בין לוי אשכול ללודוויג ארהרד. ארהרד מסר ידיעה לעיתונות ב-7 במרץ 1965, שבה נכתב: "הממשלה הפדרלית חותרת לכינון קשרים דיפלומטיים עם ישראל. צעד זה עשוי לתרום לנורמליזציה ביחסים. הוא אינו מכוון נגד שום מדינה ערבית. הממשלה הפדרלית לא תספק נשק לאזורי מתיחות".
ב-16 במרץ 1965 הצביעה הכנסת על כינון יחסים דיפלומטיים עם גרמניה המערבית: 66 הצביעו בעד ו-29 נגד.
השגריר הגרמני הראשון היה רולף פאולס, דיפלומט מקצועי, שהיה קצין בוורמאכט ואיבד את זרועו במלחמת העולם השנייה. סגנו היה אלכסנדר טרק. בטקס הגשת כתב האמנה של פאולס בירושלים, הכריז הנשיא זלמן שזר כי "אף האפל שבלילות סופו להגיע לעליית השחר", ותזמורת משטרת ישראל נגנה את מנגינת ההמנון הגרמני. אולם בחוץ נערכה הפגנה נגד כינון היחסים עם גרמניה, ונוצר עימות אלים בין המפגינים והמשטרה. המפגינים הקיפו את מכונית השגריר ודפקו על הגג והשמשות שלה, ומישהו אף יידה בה אבן.
שגרירות ישראל בגרמניה נחנכה רשמית ב-24 באוגוסט 1965. השגריר הראשון היה אשר בן נתן, ששימש כמנכ"ל משרד הביטחון לפני כן. בן נתן שימש כשגריר עד שנת 1969.
לאחר כינון היחסים.
בשנים הראשונות עדיין הושפעו יחסי המדינות מהביקורת של יהודים בישראל וברחבי העולם על כינון היחסים. למרות זאת היחסים הלכו והתחממו, גם כאשר מדינות אירופה אחרות ביקרו את מדיניותה של ישראל.
השגריר הראשון, רולף פאולס, שם לעצמו מטרה לשבור את החרם הישראלי. השגרירות הגרמנית פזרה סיוע נדיב למוסדות מדע ותרבות, היא עודדה הוצאות ספרים ישראליות לתרגם לעברית רומנים של סופרים גרמנים, וכדי לשפר את הדימוי של גרמניה בעיתונות הישראלית, הזמינה עיתונאים ישראלים לבקר בגרמניה על חשבונה. אחרי מלחמת ששת הימים, מימנו הגרמנים חלק מהוצאות אחזקתו של כתב הטלוויזיה הישראלית בבון. עשרות אלפי בני-נוער ישראלים נסעו לגרמניה על חשבון הגרמנים.
ב-1969 החל וילי ברנדט, שהיה בעל עבר אנטי-נאצי מובהק, לכהן כקאנצלר. בדצמבר 1970, בעת ביקורו בפולין, הניח זר וכרע על ברכיו בפני האנדרטה לזכר מרד גטו ורשה, מחווה שזכתה לתהודה רבה.
בשנת 1970 ביקר שר החוץ אבא אבן בגרמניה – הביקור הרשמי הראשון בגרמניה של שר חוץ ישראלי. ולטר של היה שר החוץ הגרמני הראשון שביקר בישראל באותה שנה. היחסים לא נפגעו משמעותית גם בעקבות טבח הספורטאים באולימפיאדת מינכן בשנת 1972.
ביוני 1973 היה ברנדט לקאנצלר הראשון שביקר בישראל (קונראד אדנאואר ביקר בישראל ב-1966 כקאנצלר לשעבר). בעת ביקורו של ברנדט בישראל, כמעט אירעה תאונה אווירית, כשכלי הטיס בו נערך לו סיור בחברת השר יגאל אלון נסחף על ידי פרץ רוח פתאומי וכמעט התנגש בהר המצדה. על אירוע זה אמר ברנדט: "קנצלר גרמני ושר ישראלי, במטוס אמריקאי, כמעט רוסקו על ידי רוח ירדנית, אולם ניצלו על ידי אלוהים יהודי".
ב-1975 היה יצחק רבין ראש הממשלה הישראלי הראשון שביקר בגרמניה.
בתחילת שנות ה-80 התפוצץ רימון יד בחצר השגרירות הגרמנית בתל אביב, כביכול בשם ארגון בשם "בל נשכח".
בתקופת כהונתו של ראש ממשלת ישראל מנחם בגין היו לו יחסים מתוחים עם הקנצלר הלמוט שמידט, אשר הביע אהדה לזכות ההגדרה העצמית של הפלסטינים.
זמן מה לפני בחירתו של בגין ב-1977, הוזמן שמידט לביקור רשמי בישראל, ולאחר הבחירות הודיעה ממשלת ישראל כי הזמנת הקנצלר עדיין קיימת. אולם שמידט דחה פעם אחר פעם את בואו. באביב 1981, בשובו מערב הסעודית, אמר שמידט כי עברה הנאצי של גרמניה מטיל עליה אחריות היסטורית כלפי שורה של עמים באירופה וגם כלפי העם הפלסטיני, אולם לא הזכיר את העם היהודי או את מדינת ישראל. ב-3 ביוני הגיב בגין בהתקפה אישית חריפה: "כולם שירתו בצבא הנאצי, לרבות אדון שמידט, אשר נשבע אמונים לפיהרר באופן אישי וקיים את שבועתו עד תום". שמידט לא ביקר בישראל בתקופת שלטונו של בגין. שמידט, אשר אביו היה ממוצא יהודי, לא פרסם עובדה זו בימי כהונתו.
למחרת התפטרותו של בגין מראשות הממשלה באוגוסט 1983, היה אמור קנצלר גרמניה, הלמוט קוהל, להגיע לישראל לביקור רשמי.
באפריל 1987 היה חיים הרצוג לנשיא מדינת ישראל הראשון שביקר בגרמניה. ב-1994 הקדיש נשיא גרמניה רומן הרצוג את ביקורו הראשון מחוץ לאירופה לפגישה בישראל. ראש ממשלת ישראל אהוד ברק היה המנהיג הזר הראשון שהתקבל בברלין אחרי שממשלת גרמניה עברה מבון (בירתה לשעבר של מערב גרמניה) ב-1999.
קנצלר גרמניה גרהרד שרדר ביקר בישראל באוקטובר 2000. ב-2005 צוין יום השנה ה-40 של ליחסים הדיפלומטיים, ונשיא גרמניה הורסט קהלר ונשיא ישראל משה קצב החליפו הצהרות ביקור. ב-2007 נפגשו ראש ממשלת ישראל אהוד אולמרט וקנצלרית גרמניה אנגלה מרקל בישראל. כיום, בעיקר לאחר עליית ראש הממשלה אנגלה מרקל לשלטון, נמצאת גרמניה ביחסים מצוינים עם מדינת ישראל, ואף מעניקה לה סיוע צבאי - לדוגמה הצוללות מסדרת דולפין שמימנה ממשלת גרמניה לישראל בתגובה למלחמת המפרץ. אחד המניעים ליחסים בין ישראל וגרמניה הוא חובה מוסרית, שנמצאת בקונצנזוס הפוליטי והציבורי בגרמניה, לדאוג להישרדות ישראל, וגם בקרב מרקל באופן אישי שגדלה בגרמניה המזרחית, שהייתה בעלת מדיניות חוץ אנטי-ישראלית מובהקת.
בנובמבר 2015, נפתחה הקונסוליה הכללית של ישראל בעיר מינכן.
באפריל 2016 הופיע דיווח בעיתון הגרמני דר שפיגל, שממשלת גרמניה שוקלת להפסיק את תמיכתה המסורתית והמחויבות שלה לביטחון ישראל בשל מדיניות ההתנחלויות. כמו כן צוין בכתבה כי אנגלה מרקל זועמת על נתניהו. אך דיווחים אלו הוכחשו גם על ידי ישראל וגם על ידי גרמניה.
ביולי 2016 ממשלת גרמניה מתחה ביקורת על חוק העמותות, שדורש מעמותות שמאל להעביר מידע לכנסת אם מימונם מגיע ממדינה זרה.
בחלק מעיתוני גרמניה קיים יחס מיוחד לישראל. עובדי קבוצת אקסל שפרינגר, ההוצאה לאור הגדולה ביותר בגרמניה לעיתונים, נדרשים לחתום על הצהרת תמיכה בפיוס בין יהודים לגרמנים ותמיכה בזכויותיה של מדינת ישראל.
משלחות חילופי נוער פועלות מדי שנה, כ-7,000 צעירים גרמנים מבקרים מדי שנה בישראל וכ-3,000 צעירים ישראליים מבקרים מדי שנה בגרמניה.
ב-3 באוקטובר 2018 הגיעה קנצלרית גרמניה אנגלה מרקל לביקור רשמי בן יממה בישראל, בו היא נפגשה עם ראש הממשלה בנימין נתניהו ונשיא המדינה ראובן ריבלין.
מרקל הביעה תמיכה במדיניות ישראל במלחמת האזרחים בסוריה ודרשה מנשיא רוסיה, ולדימיר פוטין, להרחיק את האיראנים מהגבול.
ביוני 2020 ביקר שר החוץ הגרמני, הייקו מאס את מקבילו הישראלי, גבי אשכנזי. אשר דנו על תוכנית השלום של טראמפ, חתמו על הסכמים בתחום החינוך בנוגע לזיכרון השואה.
במרץ 2021 ביקרו הנשיא ראובן ריבלין והרמטכ"ל אביב כוכבי בברלין, שם נפגשו עם נשיא גרמניה פרנק-ואלטר שטיינמאייר ושר החוץ הגרמני הייקו מאס.
ב-10 באוקטובר 2021 ערכה קנצלרית גרמניה אנגלה מרקל מה שהוגדר כ"ביקור פרידה מישראל", פקדה את יד ושם ונפגשה עם ראש הממשלה נפתלי בנט ונשיא המדינה יצחק הרצוג.
מחליפה של מרקל, קנצלר גרמניה אולף שולץ הגיע ב-2 במרץ 2022, כשלושה חודשים אחרי התמנותו לתפקיד, לביקור רשמי בן יממה בישראל, שכלל את "יד ושם", מסיבת עיתונאים משותפת עם ראש-הממשלה נפתלי בנט ואת הכנסת. הוא הצהיר ש"הרצח ההמוני של היהודים החל בגרמניה. הוא תוכנן ובוצע על ידי גרמנים. מכאן נובעת האחריות התמידית של כל ממשלה גרמנית לביטחון מדינת ישראל ולהגנת העם היהודי.
יחסים ביטחוניים.
בין ישראל לגרמניה יחסים ביטחוניים נרחבים. אמצעי הלחימה הבולט ביותר שגרמניה סיפקה לישראל הן צוללות.
ב-15 בדצמבר 1957 קבלה ממשלת ישראל החלטה לשלוח את הרמטכ"ל לגרמניה לצורך בקשה לסיוע ביטחוני. הייתה זו ככל הנראה ההחלטה הרשמית הראשונה של ישראל על קיום קשרים צבאיים עם גרמניה המערבית. הכוונה הייתה לרכוש ממנה שתי צוללות. מכיוון שהנושא עדיין נחשב סודי, ראש הממשלה בן-גוריון לא הזכיר בכנסת את המלה "צוללות", אלא "ציוד שאין רואים אותו לא מהיבשה, ולא מהים, ולא מהאוויר".