В сентябре 1939 года началась Вторая мировая война, и Маршалл стал начальником штаба армии. После атаки на Перл-Харбор в 1941 году президент США Рузвельт сделал Маршалла своим советником по вопросам стратегии и тактики. Был одним из основных американских военачальников Второй мировой войны, отвечал не только за положение дел в армии США, но и за её взаимодействие с европейскими союзниками, а также за Тихоокеанский театр военных действий. Человек года по версии журнала Time (1943). Сопровождал Рузвельта на всех конференциях в рамках тройки США-СССР-Великобритания. В декабре 1944 года ему было присвоено звание генерала армии. В 1945 году, в преддверии Потсдамской конференции призывал к более осмотрительному подходу к американо-советским отношениям, выражая опасение, что в случае их обострения СССР может задержать вступление в войну против Японии, в результате чего США «придётся взять на себя всю грязную работу». Один из основных инициаторов атомных бомбардировок Хиросимы и Нагасаки (август 1945).