С 21 января 1947 по 20 января 1949 года - государственный секретарь США. Занимая эту должность, наблюдал за набиравшей оборот Холодной войной. Переговоры с представителями СССР становились всё более сложными, а в 1948 году американо-советские взаимоотношения беспрецедентно обострились на фоне советской блокады подконтрольных США, Великобритании и Франции районов Берлина. 12 марта 1947 года была озвучена доктрина Трумэна, в рамках которой США начали впервые реально бороться с распространением коммунизма, помогая в этом Греции и Турции. 5 июня того же года Маршалл выступил в Гарварде с предложением организовать широкую программу оказания помощи европейским экономикам, ставшей в итоге известной как план Маршалла. За счёт этого плана, работавшего с 1948 по 1952 годы, США предотвратили приход коммунистов к власти в странах Западной Европы, как и во всей остальных странах, получавших помощь по данной экономической программе. Американские власти вложили в реализацию плана Маршалла около 13 миллиардов долларов. СССР и его восточноевропейские союзники поначалу не высказывались откровенно против участия в программе, но в итоге не стали этого делать. Более того, СССР организовал собственное подобие плана Маршалла для стран Восточной Европы. В ноябре 1947 года началась первая арабо-израильская война. Президент США Гарри Трумэн поддерживал Израиль и намеревался признать эту страну, чем был недоволен Маршалл, не желавший портить отношения с богатыми нефтью арабскими странами, которые к тому же, как он думал, вскоре разгромят Израиль. Это привело к ухудшению отношений и даже конфликту между Трумэном и Маршаллом. Когда США всё-таки признали Израиль и установили с ним дипломатические отношения, Маршалл в знак протеста отставил должность государственного секретаря. Во время работы Маршалла государственным секретарём были также подписаны Парижские мирные договоры (10 февраля 1947). Занимая данную должность, Маршалл вновь стал человеком года по версии журнала Time (1947).