לאחר שקבע את משכנו בברלין החל את פעילותו בתנועה הציונית בגרמניה והיה בין מייסדי מפלגת הציונים הרדיקלים ביחד עם יצחק גרינבוים וכחבר בהנהלתה השתתף בקונגרסים הציוניים מ 1920 והיה מעורב בכל המהלכים והמאבקים בפוליטיקה הבין מפלגתית של התנועה הציונית. בדעותיו ובנטיתו הפוליטית היה מקורב לחיים ויצמן, מאוחר יותר השתייך לסיעת הציונים הכלליים א' ששיתפה פעולה עם מפלגות הפועלים.
בשנת 1927 נבחר כחבר הוועד הפועל הציוני מטעם הסיעה הרדיקלית והשתתף בוועדה המדינית שניהלה את המשא ומתן עם הממשלה הבריטית אחרי פרסום "הספר הלבן" של הלורד פאספילד. בשנת 1931 הצטרף לנחום סוקולוב במסע מגבית של קרן היסוד לאמריקה שבו רכש היכרות קרובה עם הקהילה היהודית בארצות הברית ועם מנהיגיה.
בשנת 1934 מונה לנציג ההסתדרות הציונית בחבר הלאומים בז'נבה. באותה שנה נבחר גם כחבר בהנהלה הציונית ונחשב כאחד מקובעי מדיניות החוץ של התנועה. בתפקידו זה ניהל בוועדה לשטחי המנדט של חבר הלאומים.את המאבק כנגד ניסיונות ממשלת בריטניה לצמצם את המחויבות שבהצהרת בלפור והמנדט הבריטי להקמת בית לאומי ליהודים בארץ ישראל.
גולדמן היה בין התומכים הנלהבים בהצעת ועדת פיל ב 1937 לתוכנית החלוקה של ארץ ישראל. הוא ראה בהיסוסים ובעמדה המסויגת שהציגה התנועה הציונית כלפי ההצעה טעות גדולה. גם שנים רבות אחר כך סבר שניתן היה באמצעות תוכנית זו להציל יהודים רבים ואולי אף למנוע את השואה.
לאחר פרוץ מלחמת העולם השנייה הגיע לניו יורק, שם הצטרף לוועד החירום הציוני וכנציג הסוכנות היהודית ניסה לקדם את מטרות התנועה הציונית בקרב קובעי המדיניות בארצות הברית. הניסיונות לעורר תמיכה אמריקאית במאבק הציוני לחידוש העלייה לפלשתינה לא צלחו מאחר שמדינאים ופקידי מחלקת המדינה שהושפעו מעמדת משרד החוץ הבריטי לא הסכימו לכל מהלך שהבריטים התנגדו לו. מסיבה זו עיקר המאמץ הציוני בארצות הברית הופנה להתפתחויות הצפויות עם תום המלחמה. על אף שבשנת 1937 תמך גולדמן בתוכנית החלוקה, היה בשנת 1942 בין יוזמי ומארגני הועידה הציונית בניו יורק בהשתתפות ויצמן ובן-גוריון שבה הוחלט על תוכנית בילטמור, שהצהירה שמטרת הציונות היא הקמת Jewish Commonwealth - בית לאומי או במילים אחרות מדינה יהודית בארץ ישראל.
עם תום המלחמה נמצאו הסוכנות היהודית והנהגת היישוב בא"י בעמדת התנגשות עם ממשלת המנדט שהתעקשה להמשיך במדיניות הספר הלבן של מקדונלד מ 1939. גולדמן היה קרוב יותר לעמדתו של חיים ויצמן שהתנגד למאבק האקטיביסטי של ההגנה, האצ"ל והלח"י כנגד ממשלת המנדט, אך לטענתו ניסה להציג עמדת פשרה בעניין זה בין ויצמן ובן-גוריון. עימות חריף התפתח בין גולדמן, שהאמין בדיפלומטיה שקטה, ובין אבא הלל סילבר, שהיה באותו זמן המנהיג הציוני הבולט בארצות הברית והוביל קו מדיני אקטיביסטי. הקו התקיף של סילבר היה אולי פופולרי יותר בציבור היהודי אך בסופו של דבר הצליח גולדמן להרחיק את סילבר מהנהגת הציונות האמריקאית.
באוגוסט 1946, לאחר פרסום תוכנית מוריסון גריידי הביא גולדמן לוושינגטון תוכנית נגדית של הסוכנות היהודית, שנקראה "תוכנית גולדמן" ושכנע את אנשי מחלקת המדינה של ארצות הברית לתמוך בתוכניתו ולדחות את תוכנית מוריסון, מה שהיה בין הגורמים להצהרת הנשיא הארי טרומן נגד תוכנית מוריסון ובעד עלייה מיידית של מאה אלף יהודים.
לאחר שההוועדה המיוחדת של האו"ם לענייני פלשׂתינה (א"י) (UNSCOP - United Nations Special Committee on הציעה את התכנית לחלוקת א"י עבר המאבק הציוני לעצרת האו"ם. כחבר המשלחת לעצרת האומות המאוחדות ניהל גולדמן מגעים עם מזכירות האו"ם, עם הממשל בוושינגטון, ועם מדינות אירופה ודרום אמריקה, כדי להבטיח את תמיכתן בתוכנית החלוקה. לכישוריו ולניסיונו הדיפלומטי העשיר הייתה תרומה חשובה להחלטת עצרת האו"ם מה 29 בנובמבר 1947 על תוכנית החלוקה והקמת מדינה יהודית.
בשנים 1951 - 1956 בתפקידו כיושב ראש הוועד המנהל של הסוכנות היהודית, היה גולדמן מעורב במבצעי העלייה ההמונית לישראל ובמאמצים לממן את הבאת העולים ואת קליטתם בארץ. בין השנים 1956–1968 כיהן כיו"ר ההסתדרות הציונית העולמית.
פעילות למען העם היהודי.
עליית הנאציזם בגרמניה והתחזקות האנטישמיות באירופה בשנות ה-1930 הביאו את גולדמן לפעילות אינטנסיבית למען העם היהודי. בעקבות פנייתו של סטפן וייז השתתף בהכנות לייסוד קונגרס יהודי עולמי. הוא היה בין יוזמי ועידת הייסוד של הקונגרס ב־1936 ונבחר ליושב-ראש הוועד המנהל שלו. עד 1939 היה גם נציג הקונגרס וועד שליחי הקהילות לחבר-הלאומים בז'נבה.
גולדמן מילא תפקיד מרכזי בניסיונות של הקונגרס להבטיח את זכויות היהודים במרכז אירופה ובמזרחה ולגייס את העם היהודי ואת הכוחות הדמוקרטיים בעולם כנגד התחזקות הנאציזם. בנובמבר 1934 נפגש עם מוסוליני בבקשה שיתערב למען יהודי חבל הסאר שסופח על ידי גרמניה. פגישה זו לא הניבה תוצאות ממשיות וכך גם פגישות רבות אחרות שקיים עם נציגי מדינות באירופה ועם המזכיר המדיני של הוותיקן קרדינל פאצ'לי, בניסיון לעוררם לפעול כנגד האנטישמיות המתגברת ולמצוא פתרון לבעיית הפליטים היהודיים.ניסיונו של גולדמן לארגן חרם בינלאומי כנגד סחורות מגרמניה הנאצית נחל כישלון צורב, כאשר המדינות הדמוקרטיות, ואפילו הנהגות היהודים בגרמניה ובארצות הברית לא הכירו באיום שטמון במשטר הנאצי. גם הניסיונות לשכנע את ארצות הברית ומדינות אחרות לפתוח את שעריהן לפליטים היהודים לאחר ליל הבדולח לא הביאו לתוצאות. גולדמן שהשתתף כנציג הקונגרס בוועידת אוויאן ב 1938ראה בכישלונה "כתב אישום חותך ומזעזע נגד העולם הנאור"
לאחר שהגיע לארצות הברית ב 1940 התמקדה עיקר פעילותו של גולדמן בניסיונות להציל אנשי שם יהודים מאירופה הכבושה ובמאמצים לשכנע את הממשל לשנות את חוקי ההגירה ולאפשר כניסת פליטים יהודים לארצות הברית. ועידת ברמודה באפריל 1943 הייתה עדות עגומה לכישלון מאמצים אלו. אפילו הבקשה שבעלות הברית יפציצו את תאי הגאזים באושוויץ כדי לעצור את ההשמדה נדחתה על הסף. בזכרונותיו, תיאר נחום גולדמן את הפעולות שנעשו בתקופת השואה כך:
"פרשה עגומה ומדכדכת, רצופה אכזבות וכישלונות... כל הפעולות האלה היו כטיפה בים ולא היה בהן כדי להביא להישג של ממש. באשמה זו נושאים כולנו - כל אלה שנמנו אז עם ראשי המדברים בשם העם היהודי, מי פחות ומי יותר, ואינני מוציא עצמי מכלל זה"
עוד לפני תום המלחמה החל גולדמן בקידום תוכניות לשיקום העם היהודי ובדרכים לפיצויו. כבר בנובמבר 1944 בוועידה שהתקיימה באטלנטיק סיטי. הוחלט ביוזמתו לדרוש מגרמניה שלאחר המלחמה תפצה את היהודים שנרדפו על ידה. ב 1949 פנה הקונגרס היהודי העולמי לגרמניה בקריאה לקבל את האחריות על הפשעים שנעשו לעם היהודי תחת השלטון הנאצי. ב 1951 הקים נחום גולדמן, כנשיא הקונגרס היהודי העולמי וכיושב ראש הוועד המנהל של הסוכנות היהודית, את ועדת התביעות. ב 27 בספטמבר 1951 הודיע קנצלר גרמניה, קונראד אדנאואר שגרמניה מקבלת על עצמה את האחריות המוסרית ואת חובתה לפיצוי חומרי לעם היהודי וכי היא תיכנס למשא ומתן על כך עם נציגות משותפת של העם היהודי ומדינת ישראל. הצהרה זו הניעה את תחילת המשא ומתן על הסכם השילומים. בעקבות הסכמה בין בן-גוריון וגולדמן נערכה פגישה חשאית בין גולדמן ובין אדנאואר. גולדמן תיאר בזכרונותיו את הפגישה כ"הקשה ביותר מבחינה רגשית ולטווח ארוך אולי הגורלית ביותר בהשלכותיה על התפתחותה של מדינת ישראל"
בהשגת הסכם השילומים, שעורר סערה ציבורית ופוליטית בישראל, היו מעורבים רבים, כמו משה שרת, נח בארו ופליקס שנער, אך הוא נחשב להצלחתו הפוליטית החשובה ביותר של נחום גולדמן. במכתב מ 17 בספטמבר 1952 כתב לו ראש הממשלה דוד בן-גוריון:
כנשיא הקונגרס היהודי העולמי בשנים 1949 - 1977 פעל גולדמן לאחד ארגונים יהודיים כדי שיוכלו להיות גורם משמעותי שייצג את האינטרסים של העם היהודי. כך היה בין מייסדי ועידת הנשיאים של הארגונים היהודיים העיקריים בארצות הברית ( Conference of Presidents of Major American Jewish Organizations) ומועצת הארגונים היהודים Conference of Jewish Organizations. על אף שהעדיף תמיד את הדיפלומטיה החשאית היה משנות ה-1960 ואילך ממנהיגי המאבק למען יהדות ברית המועצות. החל מוועידה בינלאומית שכונסה ביוזמתו בפריז ב 1960 על ידי הקונגרס היהודי העולמי והמשך בוועידה השנייה למען יהדות ברית המועצות שנערכה בבריסל ב 1976, שיצאה בקריאה לברית המועצות "לקיים את הצהרת הלסינקי על זכויות האדם, לכבד את החוקה שלה עצמה ולהכיר בזכותם של יהודי ברית המועצות להתאחד עם אחיהם בארץ ישראל המולדת היהודית ההיסטורית".
על אף שהיה ציוני מושבע גולדמן החזיק בעמדה לפיה מדינה יהודית לא תהווה פתרון לכל בעיות היהודים וסבר שגולה חזקה היא כורח, ואולי אפילו אידיאל. הוא העדיף את השימוש במונח "תפוצות Diaspora" ולא "גולה Exile". לדעתו היהודים חיו כמעט תמיד מפוזרים בעולם ותפוצות היהודים ימשיכו להתקיים גם לאחר קום המדינה. גולדמן היה משוכנע שקיום מדינת ישראל מותנה בתמיכת יהודי התפוצות בפרט ובדעת הקהל בעולם בכלל. הוא ראה בהתבוללות איום על המשך קיומה של יהדות העולם ועל כן ייחס חשיבות רבה להקמת מוסדות יהודיים פעילים ומלאי חיים בתפוצות.
החשיבות שייחס לקיום הקשרים בין ישראל והתפוצות באה לידי ביטוי ביוזמתו להקמת בית התפוצות ב 1978 שאף נקרא על שמו.
פעילות למען שלום בין ישראל ומדינות ערב.