פאולינה, אחותו הבכורה בשנה אחת של בנימין זאב, הייתה שחקנית במופעי חובבים. היא נפטרה ב-7 בפברואר 1878, בגיל 19, ממחלת הטיפוס. אמו לא רצתה להישאר בביתם בבודפשט והמשפחה עקרה לווינה פחות משבוע לאחר ההלוויה. הרצל קרא לבתו הבכירה על שמה. הוא ביסס עליה את דמותה של "מרים", אחותו של דוד ליטבק מהרומן "אלטנוילנד".
רעייתו.
יוליה (מכונה ז'ולי וגם ג'ולי) לבית נשאואר (Naschauer) 1868–1907, נולדה ב-1 בפברואר 1868, בת יעקב (1837–1894) ויוהנה (1843–1900).
אביה היה תעשיין מיליונר, איל-נפט, שנולד בבודפשט. בצעירותו עקר עם אחיו לווינה, שם הקימו חברת-מניות ששלטה על בתי חרושת, ספינות-נהר ושדות-נפט בהונגריה.
יוליה נישאה לבנימין זאב ב-25 ביוני 1889. הטקס נערך בעיירת הנופש רייכנאו ואת הזוג קידש ד"ר אדולף ילינק, הרב הראשי של וינה. הנדוניה של הכלה הייתה בסך 75,000 גולדן. הריבית מהנדוניה הכניסה כ-6,000 גולדן לשנה.
בשל פעילותו הרבה בתנועה הציונית, לא הקדיש הרצל זמן או משאבים לשהות עם משפחתו.
באלפי העמודים של יומנו, הזכיר הרצל את ילדיו ואת הוריו, אולם אין בו אף אזכור ישיר אחד של אשתו. על רקע חייה ויחסו של בעלה אליה כתבה אידה צורית את הרומן "אשתו המנודה" (כתר 1997).
יוליה נפטרה, כנראה בגלל מחלת לב, בשנת 1907, בגיל 39, שלוש שנים אחרי בעלה, לאחר שסבלה מדיכאון והייתה מאושפזת במוסד לפגועי נפש, גופתה נשרפה על פי בקשתה, ומקום אפרה אינו ידוע.
ילדיו.
ליוליה ובנימין זאב הרצל נולדו שלושה ילדים.
ב-1899 כבר התגוררה המשפחה בווילה גדולה בווינה. הילדים לא נשלחו לבתי ספר, אלא חונכו בבית על ידי אומנות גרמניות ומורים פרטיים צרפתים, אנגלים ואוסטרים.
פאולינה.
פאולינה הרצל (בגרמנית: Pauline Herzl; 29 במרץ 1890 - 8 בספטמבר 1930) – בתו הבכורה של הרצל, אשר שמה העברי הוא תרצה. אחרי מספר רב של קשרים רומנטיים נישאה ליוזף היפט, אולם התגרשה כעבור זמן קצר. היא ניתקה את הקשרים עם משפחתה והאפוטרופסים שמינה הרצל, סבלה מאי-ספיקת לב, אושפזה מספר פעמים במוסד פסיכיאטרי, בגיל 39 אושפזה בבית החולים בבורדו, שבצרפת, שם נפטרה ממחלת טיפוס ב־8 בספטמבר 1930. למרות בקשתה בצוואתה להקבר בווינה ליד אביה החליטו בני משפחתה והקהילה היהודית לקברה בבורדו.
לאחר פטירתה הייתה הדעה הרווחת כי נפטרה ממתן מנת יתר של מורפיום. אולם, כאשר הועבר ארונה לקבורה מחדש בהר הרצל, התגלה כי היא נקברה בארון עופרת, מה שהוכיח שמתה ממחלת טיפוס; הנפטרים ממחלה זו היו נקברים בארון עופרת כיוון שהיא ממשיכה להיות מדבקת גם לאחר המוות.
הנס.
הנס הרצל (בגרמנית: Hans Herzl; 10 ביוני 1891 - 17 בספטמבר 1930) – בנו השני של בנימין זאב הרצל. הרצל לא העניק לו שם עברי, ואף לא מל אותו (אחרי מותו של הרצל, ארגנה לו הקהילה היהודית טקס ברית מילה והעניקה לו את השם שמעון). ביום לידתו של הנס כתב הרצל ביומנו: "ולוואי שיגדל הנס ויהיה לאיש חזק שיוכל להמשיך בעבודתי". כאשר נפטר בנימין זאב הרצל היה הנס בן 13.
במאמר שפרסם ב-1924 על תולדות חייו הוא כתב בין השאר: "בביתנו נהגו כבוד גמור בדת. אמי נמשכה לדת ואבי - לחופש המחשבה בנוסח סביבת הסופרים והעיתונאים היהודים בווינה. לימדו אותי ואת אחיותיי תפילות אחדות בגרמנית. למדונו קצת גם עברית. מחנכותינו היו נוצריות. אבינו השפיע עלינו ברוח הכרה עצמית יהודית גאה. אך לאחר מותו - ואני בן 13 - אמרה לי אמי, כי בהיותנו תינוקות חשב אבינו להמיר את דתנו. ודאי שזה היה לפני ראשית התנועה הציונית."
בהתאם לבקשתו של הרצל, נשלח הנס ללמוד בפנימיה יהודית דתית באנגליה. כשנפטרה אימו חזר לווינה, התמוטט בגלל רגשות אשם על שלא היה עם אימו בימיה האחרונים ואושפז בסנטוריום. אחרי ששוחרר חזר ללימודיו באנגליה, אותם סיים בהצלחה. באותו מאמר מספר הנס: "זמן מה אחרי מותו של אבינו הובאתי על ידי אפוטרופוסי לאנגליה. נראה שהם התכוונו בזה לקרבני לסביבת מנהגי דת ישראל. נותקתי ממשפחתי. בן 17 נתייתמתי גם מאמי. חושבני שהאפוטרופוסים לא היטיבו לעשות בהעבירם אותנו ללונדון. זה הביא כליה על חיי המשפחה שלנו ושבר, חוששני, את לב אמי. ראוי אני לגנאי על שלא התחשבתי ברצונה, אך נענשתי על כך בחיים אבלים. במשך כמה שנים שמרתי את מנהגי הדת, שבתוכי נתרוקנתי ממנה לגמרי. המלחמה השלימה את ערירותי".
הנס התקבל לאוניברסיטה, ובתקופת מלחמת העולם הראשונה התגייס לצבא הבריטי. כשהשתחרר ב־1919 לא מצא לעצמו ייעוד בחיים והתפרנס בעיקר מתרגום כתבי אביו. בשנת 1924 התנצר והצטרף לכנסייה הקתולית. ב-1925 ביקש מיט"א לפרסם שאינו רואה עצמו יותר כבן הדת הקתולית. ב-1926 מסר הודעה לפיה אינו רואה עצמו יותר כשייך לשום דת, וכי דתו היא הלאומיות. לאחר מכן הכריז כי הוא רואה עצמו חבר "בית ישראל" או מוטב, חבר "העם העברי". בשנותיו האחרונות התפלל בבית הכנסת הרפורמי בלונדון בחברת קלוד מונטיפיורי.
הנס לא נישא מעולם. כששמע על מחלתה האנושה של אחותו פאולינה, עזב את עיסוקיו ונסע לבורדו שבצרפת לבקרה. לאחר ששהה ליד מיטתה וראה כי מצבה משתפר, שב לבריטניה ושם קיבל את הבשורה שאחותו נפטרה. הוא חזר לבורדו בשנית והתאבד ב־15 בספטמבר 1930 ביריית אקדח בשבוע לפטירת פאולינה. בן 39 היה במותו. הנס ביקש שגופתו וגופת אחותו ייקברו יחד בווינה. בצוואתו, בה הסביר כי התאבד בגלל תחושת כישלון, הציע להעלות את גופות אביו, אחותו וגופתו שלו, יחד עם אפר אימו לקבורה בארץ ישראל.
בספר הציונות המאוחרת, אשר יצא בשנת 1953 בהוצאת שילה, מצוין כי התאבדותו נבעה כתוצאה משברון לב, בעקבות אהבתו לאוליה, הבת של הרוזן מעירו. היא הייתה בת 15 והוא בן 38, ובמצב שנוצר העדיף לשים קץ לחייו. סיבת התאבדותו זו התפרסמה אף בחוברת בווינה בשנים 1966–1967, אך מקורה אינו ידוע.
מרגרטה גרטרודה.
מרגרטה גרטרודה הרצל (בגרמנית: Margarethe Gertrude Herzl) הידועה בכינוייה טרודה (Trude) ואשר קיבלה גם את השם היהודי פרומה – בתם השלישית של הרצל ואשתו יוליה, נולדה בפריז ב־20 במאי 1893, הייתה בת 11 בעת פטירתו של אביה. אחרי פטירת אימה, בהיותה בת 14, נשלחה להתגורר אצל דודתה אלה. דודתה זו גרמה לה להתנתק מבני גילה ואסרה עליה להביא חברים הביתה, ולכן שיקעה טרודה עצמה בקריאת ספרים (בעיקר נובלות ורומנים). טרודה למדה באוניברסיטה הוראת צרפתית. אחרי פטירת אשתו של אפוטרופסה, וולפסון, עברה לגור בביתו וסייעה לו הן בניהול משק הבית והן בענייני התנועה הציונית. השתתפה בקונגרס העשירי בבזל (1913).
ב־1916 סבלה מהתמוטטות עצבים, בין היתר מאחר שהקשר שלה עם אחיה, הנס, נותק עקב היותו חייל בצבא של מדינת אויב (הצבא הבריטי), והיא אושפזה לזמן מה בבית החלמה לחולי עצבים בברוהל.
טרודה הייתה היחידה מילדי הרצל שהקימה משפחה. ב־23 באפריל 1917 נישאה לתעשיין הטקסטיל היהודי הצ'כי ריכרד נוימן, שהיה גרוש ומבוגר ממנה ב־27 שנים, חברו של האפוטרופוס על ילדי הרצל, מוריץ ריצ'פלד, ובשנת 1918 ילדה נכד יחיד להרצל. זמן קצר אחרי הלידה נשלחה למספר חודשים לבית החולים לחולי נפש "אינזרסדורף" שבווינה.
בשנים שלאחר מכן ניסו בני הזוג נוימן להפרד, חזרו לחיות יחד, ובכל אותה תקופה הייתה טרודה מתאשפזת לפרקים בבית החולים לחולי נפש. מצבה התערער בעקבות מותם של שני אחיה, פאולינה והנס, והחל מ־1931 היא אושפזה בקביעות בבית החולים אינזרסדורף.
ב־1940, במסגרת הניתוק הכפוי של היהודים מהאוכלוסייה הכללית, הועברה לבית החולים הפסיכיאטרי היהודי פוקרסדורף, וב־1941 עם סגירת כל המוסדות היהודים הועברה לבית חולים פסיכיאטרי ציבורי.
בספטמבר 1942, כשהנאצים פינו את המאושפזים היהודים מבית החולים הפסיכיאטרי של וינה, היא נשלחה למחנה טרזיינשטט, שם שהתה בבית החולים של המחנה שישה חודשים עד פטירתה (כנראה מרעב) ב־15 במרץ 1943. גופתה נשרפה.
נכדו, סטפן תיאודור.
בנה של טרודה, סטפן תיאודור, הצאצא האחרון למשפחת הרצל, נולד ב־21 באפריל 1918. עקב עליית הנאצים לשלטון, נשלח סטפן ב־1933 ללמוד בפנימיה באנגליה. הוא קיבל אזרחות בריטית ושינה את שם משפחתו מ"נוימן" ל"נורמן" (לפי גרסה אחרת ל"מונרו"). הוא שירת בתקופת מלחמת העולם השנייה בהודו כקצין בחיל התותחנים של הצבא הבריטי. בשנת 1945, בדרכו מהודו לאנגליה, ביקר בארץ ישראל, התקבל בכבוד ואהדה, וקיבל הצעות להשתקע בארץ (הן מקיבוצים והן מעמותות). תשובתו הייתה שישקול זאת לאחר שיסיים את תפקידו בצבא. הוא שובץ כנספח משרד המדע של המושבות הבריטיות בשגרירות בריטניה בוושינגטון. לאחר שנודע לו על מותם של הוריו בשואה, התאבד בקפיצה מ"גשר שדרות מסצ'וסטס" ב־25 בנובמבר 1946.
צוואתו של הרצל.
ב-12 בפברואר 1897 ערך הרצל צוואה לראשונה בחייו. חלקה השני, "צוואתי האחרונה", לא נועד לפרסום. הוא דן בענייניו האישיים והכספיים ומשקף את מצבם הרעוע של חיי המשפחה שלו. הרצל שלל מאשתו זכויות כלשהן בחינוך ילדיהם ומינה את הוריו לאפוטרופסים שלהם. הוא ביקש מהם למנוע "כל התערבות אפשרית" מצד אשתו או קרוביה. הוא דרש שבנו לא יישאר בידיה משום ש"אינה אוהבת אותו, ועלולה להשחית ולהרוס את אושרו בכך שתרד לחייו" וביקש להעביר אותו לבית סבו וסבתו או לפנימייה בחוץ-לארץ. לגבי בנותיו, נאלץ להשלים עם העובדה שתיאלצנה להישאר בבית אמן: "אפילו אם לא הייתה לי אשה טובה, תשתדל־נא לפחות להיות אם טובה לבנותיה".
בגיל 40 נתקף הרצל בתחושה שיום מותו קרב ובמאי 1900 ערך צוואה חדשה. הוא מינה את הוריו כיורשיו היחידים ואחריהם את ילדיו. אשתו לא נזכרה בין הנהנים והייתה מיועדת לקבל את החלק המגיע לאלמנות בחוק האוסטרי רק במידה ולא יהיו לה אמצעי-מחייה אחרים.