Siempre formó parte del grupo de generales en quienes Hitler más confiaba, y Krebs le fue leal hasta el final. Una de sus últimas misiones, tras la muerte de Adolf Hitler, fue acudir a negociar infructuosamente un tratado de paz con las fuerzas soviéticas que asediaban Berlín. Al día siguiente, el 2 de mayo de 1945, se suicidó en el búnker de la cancillería junto con su colega Wilhelm Burgdorf. Los cadáveres fueron hallados por un operador de radio un momento después de su muerte.