После начала Второй мировой войны фон Крамм добровольно вернулся в Германию и был призван рядовым в действующую армию. В письме другу он писал: «Вне зависимости от того, каковы мои взгляды или чувства в отношении нынешнего правительства, Германия — моё отечество, и я не смог бы смотреть сам себе в глаза, если бы не вернулся». Первые полтора года службы фон Крамм провёл в оккупированных Нидерландах, в тыловой части в Утрехте, но когда в конце 1941 года началось контрнаступление Красной армии под Москвой, его перебросили на Восточный фронт. В течение шести недель в начале 1942 года барон в составе пулемётного расчёта участвовал в боях за Смоленск, пока не был эвакуирован в тыл с обморожением обеих ног; из 120 солдат его роты в Германию вернулись 19. Фон Крамм получил Железный крест за отвагу, но вскоре был с позором уволен из армии — его племянник предполагает, что его подозревали в сотрудничестве с врагом, и утверждает, что подозрения были обоснованными и барон был связан с антифашистским подпольем. Несомненным является то, что фон Крамм был лично знаком со многими деятелями подполья, даже если и не участвовал напрямую в его деятельности; однако причиной увольнения могла стать и начинавшаяся в это время чистка, в ходе которой из армии изгонялись любые представители старой имперской аристократии. Двое из его братьев не пережили первые годы войны — один умер в 1940 году от пневмонии в военном госпитале, а другой пропал без вести в начале 1942 года. Сам Готфрид, однако, не только вернулся живым с фронта, но и остался не затронут репрессиями против аристократов, развязанными после неудачного покушения на Гитлера 20 июля 1944 года.