לאחר המלחמה, תמך כחבר ב"ועדת הביטחון", הגוף המפקח על ארגון "ההגנה", במאבק מוגבל נגד הבריטים.
באוגוסט 1945 החליט יחד עם בן-גוריון ומשה סנה, להקים את "תנועת המרי העברי", שאגדה את "ההגנה", אצ"ל ולח"י למאבק אלים בשלטון הבריטי. במרץ 1946 הופיע כנציג היישוב היהודי בפני ועדת החקירה האנגלו-אמריקאית לענייני ארץ ישראל.
בעקבות השבת השחורה ב-29 ביוני 1946, נעצר במחנה לטרון יחד עם מנהיגי היישוב עד 5 בנובמבר, וקרא שם להפוגה במאבק.
ב-1947 ייצג את עמדת הנהגת היישוב לפני ועדת אונסקופ, וניהל את המאבק בעצרת או"ם לאישור תוכנית החלוקה, שהתקבלה לבסוף בכ"ט בנובמבר 1947.
ב-8 במאי 1948 הוא נפגש בניו יורק עם גנרל ג'ורג' מרשל שהיה מזכיר המדינה של ארצות הברית. מרשל יעץ לו לדחות את תאריך הכרזת המדינה ולקבל עד אז משטר נאמנות של האו"ם היות שהכרזת המדינה תעורר התנגדות הערבים ותסכן את קיומם של היהודים בארץ ישראל. שרת השיב כי הנהגת היישוב היהודי בארץ ישראל הגיעה לשלב של הכרעה היסטורית וכי היא תיתן את הדין לפני ההיסטוריה אם לא תעשה את הצעד הנדרש ממנה ברגע זה.
הוא היה חבר במנהלת העם ופעל להקמה מיידית של המדינה בתום שלטון המנדט. נמנה עם מנסחי מגילת העצמאות וחותמיה. היה אחד מששת המצביעים במנהלת העם בעד הכרזת המדינה ב-14 במאי 1948.
שר החוץ של מדינת ישראל (1948–1953).
עם הקמת מדינת ישראל מונה שרת לשר החוץ הראשון שלהּ, ייסד את משרד החוץ והתווה את מדיניותו. אז גם שינה את שמו בשנית, כאשר עברת אותו מ"שרתוק" ל"שרת".
בזמן מלחמת העצמאות, נדרש שרת לנושא בריחת הערבים. ב-15 ביוני 1948 תיאר במכתב לנחום גולדמן את בריחתם כאירוע הבולט ביותר בהיסטוריה של ארץ ישראל בעת החדשה, אפילו יותר מהקמת המדינה היהודית. לרוזן ברנדוט אמר כי אין לדון בשאלת חזרתם לבתיהם, כל עוד נמשכת המלחמה. בדיון בממשלה שהתקיים ב-16 ביוני 1948, אמר שרת: "אילו קם בתוכנו מישהו ואמר שצריך לקום יום אחד ולגרש את כל אלה – כי אז הייתה זו מחשבת טירוף. אך אם הדבר הזה אירע תוך זעזועי מלחמה, מלחמה שהעם הערבי הכריז עלינו, ומתוך מנוסה של הערבים עצמם – הרי זה אחד מאותם השינויים המהפכניים שאחריהם אין ההיסטוריה חוזרת לקדמותה". שרת קבע בדיון: "המדיניות שלנו שהם אינם חוזרים".
כאשר עלתה שאלת הספקת מזון לכוחות המצריים המכותרים בכיס פלוג'ה, דרש שרת לאפשר את משלוחי המזון בהתאם להחלטת מועצת הביטחון של האו"ם (בתקופה זו עמדה על הפרק קבלת מדינת ישראל לארגון), ובן-גוריון, שהתנגד לתביעתו, קיבל לבסוף את דעתו והתיר להעביר את האספקה.
ב-1949 נבחר לכנסת הראשונה מטעם מפא"י. הישגו הגדול ביותר של שרת בתפקידו כשר החוץ היה הסכמי שביתת הנשק ב-1949, שסיימו באופן רשמי את מלחמת העצמאות. עם קבלת מדינת ישראל כחברה באו"ם באותה שנה, נשא בשמה שרת נאום בכורה בעצרת.
שרת השתמש בשפות שידע, לצורך תעמולת בחירות למען מפלגתו: הוא נאם בפני העולים החדשים מעדות המזרח בערבית, טורקית וצרפתית. בכניסתו לאולם המליאה של הכנסת, נהג שרת לקוד קידה ליד פתח האולם כלפי יושב ראש הכנסת, לפני שהתיישב במקומו.
שרת העריך את חלקה של ברית המועצות בהחלטה על הקמת מדינה יהודית וזה היה אחד המניעים למדיניות אי-ההזדהות שהוביל בשנים הראשונות של מדינת ישראל, שהודות לה, זכתה המדינה בתמיכה מדינית סובייטית, בעלייה ממדינות מזרח אירופה ובמשלוחי נשק מצ'כוסלובקיה. שרת נטש בסופו של דבר את מדיניות אי ההזדהות, כאשר הוברר לו כי לנוכח מצוקת המשק הישראלי, יש לפנות אל המערב.
ב-1952 השתתף שרת בהלוויית ג'ורג' השישי, מלך הממלכה המאוחדת. בביקורו זה בבריטניה, נפגש לראשונה עם וינסטון צ'רצ'יל.
היחסים עם גרמניה.
שרת ראה צורך ביחסים עם גרמניה המערבית, מכיוון שהבין כי גרמניה חוזרת להיות גורם משמעותי בקהילה הבינלאומית. הוא לא ראה תכלית בחרם על גרמניה, בזמן שלא הייתה אף מדינה במערב או בגוש הסובייטי, שותפה לכך. הוא חשש שעוינות ישראלית כלפי גרמניה תדחוף אותה ליחסים קרובים עם מדינות ערב. בשל בדידותה המדינית של ישראל ומצבה הכלכלי הקשה בתחילת שנות ה-50, סבר שרת שיש לקדם את יחסי ישראל עם גרמניה.
שרת היה דמות מרכזית בעיצוב היחסים. עמדותיו היו פרגמטיות והוא טען בעד הסכם השילומים. הוא ניתב את המגעים הטעונים והקשים עם גרמניה, וגייס את כל כישוריו כמדינאי, דיפלומט ופוליטיקאי כדי להתמודד עם הפער הגדול בין הרתיעה בציבור הישראלי מכל דבר שקשור לגרמניה ולגרמנים לבין ההכרה של ראשי המדינה למצוא מקור מימון תקציבי למשק הישראלי, שהיה על סף קריסה, ולקליטת רבבות העולים שעלו אחרי הקמת המדינה. ב-7 בינואר 1952 היה שרת הראשון בין שרי הממשלה שהעלה את סוגיית המשא ומתן הישיר בוועדת חוץ וביטחון של הכנסת ולאחר מכן ליווה את כל התהליך.
ב-5 בספטמבר 1952, במהלך המשא ומתן עם גרמניה על ההסכם, אמר שרת לחברי הוועדה המדינית של מפא"י: "עלינו לחנך את העם הזה, שזכה למדינה, להיות עם ממלכתי ולחדול להיות עם גלותי. עליו לדעת כי יש לו מדינה על פני כדור הארץ, ועל פני אותו כדור הארץ ישנה גם מדינה ששמה גרמניה. הוא לא יכול להימנע מזה, לא על ידי חיסול מדינתו ולא על ידי העברתה לפלנטה אחרת...הוא צריך להתרגל לכך".
ב-10 בספטמבר 1952 חתם בלוקסמבורג, כשר החוץ, יחד עם קנצלר גרמניה המערבית, קונראד אדנאואר, על הסכם השילומים עם מדינת ישראל ועם ועידת התביעות החומריות היהודיות מגרמניה. להבדיל מסוגיות רבות בהן שרת ובן-גוריון הציגו עמדות לעומתיות, הרי שבמאבק על קבלת השילומים פעלו שרת ובן-גוריון בתיאום מלא. עמדתם העקרונית הייתה דומה: תפקידה של מדינה ריבונית לשקול שיקולי מדיניות רציונליים ולא מוסריים או רגשיים בלבד.
ראש ממשלת ישראל (1954–1955).
לאחר פרישתו של בן-גוריון מראשות הממשלה ב-7 בדצמבר 1953, התמנה שרת, למרות רצונו של בן-גוריון שביכר את לוי אשכול, לראש הממשלה השני של מדינת ישראל, וממשלתו קיבלה את אמון הכנסת ב-26 בינואר 1954.
בנוסף לתפקיד זה, המשיך שרת לשמש שר חוץ.
שרת לא היה שלם עם פעולות התגמול של צה"ל בתגובה לרציחות הפדאיון בישראל. ב-17 במרץ 1954 אירע טבח מעלה עקרבים, שבו נרצחו 11 מנוסעי אוטובוס שעשה דרכו מאילת לתל אביב. פעולת טרור זו עוררה בציבור הישראלי זעזוע עמוק וזעם רב, אך שרת התנגד לפעולת תגמול וכתב על כך ביומנו: "מעשה תגובה על מרחץ דמים זה רק יטשטש את רשמו המחריד, ויעמיד אותנו בדרגה שווה עם המרצחים מהצד שכנגד. מוטב לנו לעשות מעניין מעלה עקרבים מנוף להתקפה מדינית על המעצמות, למען יפעילו לחץ על ירדן שכמוהו עוד לא היה". בימים שאחרי טבח מעלה העקרבים, נפגש שרת במסיבת פורים עם המשורר יעקב אורלנד והמלחין מרדכי זעירא וביקש מהם לעודד את העם בשיר שמח. תוך זמן קצר כתבו השניים את "שיר שמח": "אם גם ראשנו שח ועצב סובבנו הבה ונתלקח עם השמחה שבאנו".
במהלך כהונתו של שרת כראש הממשלה, ניהל גישושים זהירים, באמצעות מתווכים, עם נשיא מצרים, גמאל עבד אל נאצר.
אולם תקופתו הקצרה של שרת בראשות הממשלה אופיינה בחולשתו. קשתה עליו השפעתו של בן-גוריון, שנותרה בעינהּ גם בעת שפינה את מקומו כראש הממשלה וישב בשדה בוקר. שרת לא הצליח להשתלט על מנגנוני הביטחון ושר הביטחון פנחס לבון והרמטכ"ל משה דיין לא שעו לדבריו.
לא היה דבר הרחוק ממשנתו המדינית המתונה והמיושבת מאשר "העסק הביש", פעולת חבלה במצרים שהתחוללה ביולי 1954 ונרקחה בתקופתו ומאחורי גבו. החרפת היחסים עם מצרים שמה קץ למגעים חשאיים שהחלו בין שרת והנשיא המצרי.
שרת יזם את חידוש הדו-שיח עם נאצר וזה הסכים לשיחות רמות-דרג. אלא שב-27 בינואר 1955 דן בית הדין הצבאי במצרים שניים מבין נאשמי הפרשה למוות, ושרת ביטל בתגובה את השיחה רמת הדרג.
משהתפטר לבון ב-21 בפברואר 1955, בעקבות "הפרשה", נתמנה בן-גוריון לשר ביטחון בממשלת שרת, ומעמדו של שרת נפגע עוד יותר.
היחסים בין שרת ובן-גוריון החריפו על רקע התנגדות שרת להסלמת המתיחות בין ישראל ושכנותיה.
במהלך כהונתו של שרת בראשות הממשלה, ב-29 במאי 1955, הגיע לישראל לשמונה ימים ראש ממשלת בורמה או נו, שהיה בכך למנהיג מדינה זר ראשון שערך ביקור רשמי בישראל העצמאית. בהמשך ערך שרת ביקור גומלין בבורמה.
כאשר בהצבעת אי אמון בממשלה (שנדחתה), בעקבות משפט קסטנר, נמנעו שרי הציונים הכלליים בהצבעה, התפטר שרת מתפקידו (היות שבאותה עת החוק לא אפשר פיטורי שרים) והקים באותו יום, 29 ביוני 1955, ממשלה חדשה, שכיהנה תקופה קצרה עד לבחירות לכנסת השלישית ב-26 ביולי 1955 והמשיכה לכהן כממשלת מעבר עד סיום כהונתו של שרת כראש ממשלה ב-3 בנובמבר 1955, עת שב בן-גוריון לכהונה שנייה ושרת המשיך להיות שר החוץ. בהפרדו מראשות הממשלה בכנסת, בירך שרת את בן-גוריון: "רצוני לאחל לחברי וידידי דוד בן-גוריון חוסן גוף ועוז רוח לשאת את המשא הכבד שהוטל עליו. כל חבריו יעזרו לו במלוא יכולתם בתפקיד האחראי והגדול הזה. לך בכוחך זה והושעת את ישראל!".
לאחר פרישתו מראשות הממשלה כתב שרת ביומנו: .
שר חוץ בממשלה בראשות בן-גוריון והדחתו ממנה (1955–1956).