מלבד יוסף מיוחס, יעקב טהון ואליעזר הופיין, שנשארו בירושלים בימי המלחמה, הוגלו שאר העסקנים הציוניים הבולטים מהעיר על ידי השלטון העו'תמאני. עם סיום השליטה העות'מאנית בירושלים, הביקוש לגוף מרכזי שידאג לספק את צרכיה החיוניים של הקהילה היהודית בירושלים גבר, והשלושה ערכו בירושלים כינוס ייסוד ב-12 בדצמבר 1917, מספר ימים לאחר שנכבשה העיר בידי הבריטים. אל הכינוס הוזמנו 16 אישים ידועים מהיישוב, שהחליטו יחד על הקמת וועדת בחירות שהופקדה לייסד את גוף ההנהגה המרכזי, שיהיה מיועד לכלל העדות והחוגים מהיישוב הישן והחדש בעיר, וידאג לצורכיהם החיוניים. וועדת הבחירות הורכבה משלושה נציגי מייסדי הוועד, ועוד 27 נציגי הוועדים והארגונים שלהלן: ועד העדה הספרדית בירושלים (חמישה נציגים), "וועד כל הכוללים" (ארבעה נציגים מטעם כוללות האשכנזים, ונציג אחד מ"וועד האשכנזים"), הסתדרויות "ירושלים", "המזרחי", "האזרח", "הלאומיים-הרדיקלים", "הפועל הצעיר" ו"פועלי ציון" (נציג אחד מכל הסתדרות), "אגודת המורים", "אגודת הפקידים", "אגודת מרכז", "אגודת בעלי המלאכה", ו"אגודת השמשים והסופרים" (נציג אחד מכל אגודה), "הצעירים הספרדים", "הצעיר הא"י", המכבים הקדמונים, "המכבי", בני ברית ואגודת אחוה (נציג אחד מכל ארגון).
בתחילת חודש מרץ 1918 נערכו בחירות בהשתתפות כ-3,000 מתושבי ירושלים, שבחרו לוועד נציגים מכלל עדות וחוגי ירושלים.
הוועד התכנס לראשונה ב-18 במרץ 1918, ובמהלך השנה הראשונה להקמתו התקבלו החלטות שונות בנוגע לאופי הוועד ודרכי פעולתו.
בחירת נציגי הוועד ודרכי פעולה ראשונות.
בכל ארבע שנים נבחרו חברי הוועד מחדש, וזכות הבחירה ניתנה לכל יהודי בגיל 20 ומעלה, המתגורר בירושלים לפחות שישה חודשים. כדי להיבחר כחבר לוועד, היה על המועמד להיות בן 25 ומעלה, ולהתגורר בירושלים לפחות 12 חודשים.
הוועד פעל באמצעות שני גופים: "ועד העיר הכללי" שמנה 70 נציגים, ו"הוועד הפועל", שמנה 23 נציגים. ה"ועד הפועל" ניהל בפועל את ענייני הקהילה היהודית בהתאם למדיניות שקבע "ועד העיר הכללי", ויישם את החלטותיו באמצעות וועדה של שבעה נציגים מחבריו, שהתכנסה אחת לשבוע ומסרה ל"ועד העיר הכללי" דו"ח מפורט על פעילותה.
הבחירות הראשונות לוועד שנערכו לאור התקנות שנקבעו במהלך השנה הראשונה לקיום הוועד, התקיימו ב-14 במאי 1919, והשתתפו בהן 2,538 איש מתושבי ירושלים, מתוכם 1677 ספרדים ו-861 אשכנזים. הנציגים שנבחרו לוועד הורכבו בעיקר מאנשי המנהיגות הציונית הוותיקה בעיר, ומציבור המתונים מהיישוב הישן. בבחירות אלו נבחר דוד ילין לשמש כיו"ר הוועד, וסגניו היו יוסף מיוחס וזלמן רובין.
על רקע הבחירות שנערכו בדצמבר 1944, בוצעה חטיפת דניאל ינובסקי.
משרדי הוועד שכנו ברחוב החבשים, היכן ששכן לימים מטה ההגנה שפעל בעיר.
פעילות הוועד.
ייצוג ותיאום מול מוסדות השלטון.
וועד העיר פעל לתאם בין גורמים שונים בירושלים, כדי לקדם עניינים משותפים ליהודים. כך לדוגמה היה מעורב בבחירות לעירייה בשנת 1927, והריץ רשימה יחד עם כלל הגורמים היהודים בעיר, שכללה את יצחק שמעיה אלישר, יצחק בן-צבי, אליהו יוסף שמאע וחיים סלומון, ותמכה בראע'ב נשאשיבי כמועמדה לראשות העיר. בבחירות לעירייה שנערכו בשנת 1934, הורצו מטעם הגורמים היהודים בעיר ובתמיכת וועד העיר, הנציגים דניאל אוסטר, שמואל עדן, אברהם אלמליח, יעקב חכמישווילי, יצחק בן צבי וחיים סלומון. בנוסף ניהל וועד העיר גם וועדת עירייה, שתפקידה היה לדאוג שיסופקו ליהודי העיר כל זכויותיהם.
לשם הקמת שוק מחנה יהודה, פעל וועד העיר לתווך בין בעלי הקרקע לסוחרים ולבעלי האמצעים הכספיים, והשיג את אישורה של מחלקת הבריאות בממשל הבריטי להקמת השוק, לאחר שהאחרונה דרש כי השוק יפעל לפי נוהלי היגיינה שקבעה.
סיוע כלכלי וסוציאלי.
וועד העיר הקים תחתיו וועדות משנה, שעסקו בשנים שלאחר מלחמת העולם הראשונה במתן סיוע לתושבי העיר על בסיס שיוך עדתי או מגזרי. בין היתר דאגו וועדות אלו לאספקת מזון ומתן הלוואות, לסייע לעניים, לטפל במראה השכונות ולקלוט עולים חדשים. כן לקחו גם חלק בפיקוח על מוסדות הסעד בעיר, ובהם "מושב הזקנים המאוחד לעדת האשכנזים", ובית מושב הזקנים והזקנות הספרדי.
בחסותו של וועד העיר, נפתחה בירושלים בחודש מאי 1932 לשכה סוציאלית, שהתרחבה אט אט למספר סניפים בשכונות שמחוץ לחומה, ובחודש אוקטובר 1932 נוסדה בחסות הוועד "האגודה לעזרת גני הילדים העבריים הציבוריים אשר בחסות ועד הקהילה", והוועד ריכז את פעילותה. עם תחילת מאורעות האיבה כנגד יהודים, ריכז הוועד את הטיפול בפליטים שברחו מהעיר העתיקה ירושלים ובפליטים שפונו מחברון. לאור התנכלויות ליהודים, בין השנים 1936 - 1939 היה אחראי הוועד על ארגון השמירה על מספר שכונות בירושלים באמצעות וועדת ביטחון שהקים לשם כך.
מועצה דתית מאוחדת.
במחצית השנייה של תקופת השלטון הבריטי בארץ ישראל, פעל וועד העיר לייסד גוף הנהגה דתית משותף לכלל העדות בירושלים, שבאמצעותו ניתן היה לפתח את שירותי הדת בעיר. לשם כך קיים וועד העיר משא ומתן בין נציגי הסתדרות המזרחי, נציגי הוועד הלאומי ונציגי הרבנות הראשית בשנת 1936, ובסופו הוחלט על הקמת "המועצה הדתית שעל-יד קהילת ירושלים". לאחר הבחירות למועצת הרבנות הראשית בסוף שנת 1936, אוחדו שירותי השחיטה האשכנזית ושירותי השחיטה של וועד העיר, ומאז היו בפיקוח של הרבנות הראשית.
קבורה.
לאור התנהלות בלתי מפוקחת של ארגוני הקבורה היהודית בירושלים ופיצול הקבורה לחלקות שונות בין העדות, החליט הממשל הבריטי להטיל על וועד העיר לטפל בנושא ולתקן את הליקויים שבו. בתחילת שנת 1932 הוקמה על ידי הוועד וועדת קבורה שתפקידה היה לנהל את חברות הקדישא בעיר, לתאם עמדות ביניהן, לייצב את מחירי הגבייה על הקבורה וגביית מיסים לצורך שמירה והגנה על בתי הקברות עתיקים. וועדת הקבורה קיימה דיונים בנוגע למצב הקבורה היהודית בירושלים והגיעה למסקנה כי יש צורך בהקמת בית קברות חדש, שיהיה מיועד לכולם, ללא הפרדה בין העדות. הקמת בית הקברות יצאה אל הפועל בשנת 1935, אז נרכשה חלקת אדמה במעלה הר הזיתים בגודל של 22 דונמים, ובו בזמן הוקמה חברה קדישא חדשה מטעם וועד העיר, שתהיה אחראית לנהל ולהפעיל את בית הקברות. חברא קדישא זו פעילה עד היום בשם "חברא קדישא קהילת ירושלים".
מלבד החברה קדישא, וועד העיר ייסד וועד משנה בשם "גמילות חסדים של אמת" שתפקידו היה לדאוג שפעילות החברה קדישא תהיה לפי ההלכה היהודית ומנהגי ירושלים, ותקנותיו אושרו על ידי מועצת הרבנות הראשית ב-12 בספטמבר 1938. בית הקברות החדש, שתוכנן על ידי האדריכל ריכרד קאופמן, נחנך לראשונה בחודש אפריל 1939, עם קבורתו של הרב ישראל מאיר סימנסון, רבה של קהילת ברסלאו במקום.
בית הקברות בסנהדריה ובשייח' באדר.
עם פרוץ מלחמת העצמאות, שוב התעורר צורך בהקמת בית קברות נוסף. הפיגוע שהתרחש בחודש פברואר 1948 ברחוב בן יהודה, גרם לאנשי הוועד לזרז הליכים למתן פתרון לבעיית הקבורה בהר הזיתים, שבתקופה זו נוספו אליה גם בעיות ביטחוניות. אנשי הוועד מצאו שטח באזור סנהדריה, קרוב לקברי הסנהדרין, בגודל של כ-25 דונמים. חניכת בית הקברות החדש נערכה ב-26 בפברואר 1948, עם קבורתם במקום של 42 מהרוגי הפיגוע ברחוב בן יהודה. בית הקברות נוהל על ידי אנשי הוועד, והנהלים בו היו זהים לאלו שבבית הקברות שבהר הזיתים. עם החרפת המלחמה, הפך אזור בית הקברות בסנהדריה לחזית הלחימה, ועם זאת גדל מספר הגופות ששכנו בבתי החולים ללא קבורה. לבסוף נמצא פתרון זמני בדמות קבורה בשטח ששכן במחצבה בשייח' באדר.
ועדת שמות.
ועד העיר ניהל ועדת שמות מטעמו, שתפקידה היה להציע שמות לרחובות ירושלים, וחבריה היו אנשי רוח שהיו בקיאים בתרבות ובהיסטוריה של העיר. הוועדה הייתה מרכזת שמות שהגיעו אליה כבקשות מוועדי שכונות ומאישים פרטיים, ומעבירה אותם בצורה מסודרת בצירוף מפות אל הגורמים הרלוונטיים בעירייה. במשך שנות פעילותה של הוועדה, הייתה מגמתה בעיקר לקרוא לרחובות בעיר על-שם דמויות מרכזיות ביהדות, כדוגמת אבות האומה ודמויות נוספות מהמקרא, וגם על-שם דמויות שפעלו להרחבת היישוב בעת החדשה. כשהוקמה בשנת 1937 ועדת שמות מטעם עיריית ירושלים שהורכבה מנציגים מוסלמים, יהודים ונוצרים, רוב נציגיה היהודים היו חברי ועדת השמות שהקים ועד העיר. הוועדה המשותפת קבעה כי ברחובות שבהם מתגוררים יהודים - ייקראו שמות עבריים, ברחובות שמתגוררים מוסלמים - ייקראו שמות ערביים, וברחובות מעורבים - ייקראו שמות בשתי השפות.
סופו של הוועד.
פעילות הוועד הגיעה אל סיומה עם הקמת המדינה, וכינון עירייה בירושלים, שלראשונה עמד בראשה ראש עיר יהודי. אולם למרות שפעילותו הופסקה, דרכי הפעולה והתשתית הארגונית של עיריית ירושלים היוו את הבסיס להקמתה ולפעילותה של זו האחרונה.
התנגדות לוועד.
לוועד, שהכיל מגוון עדות ומגזרים מהיישוב, וחלק מנציגיו היו חילונים, קמה התנגדות מצד אנשי היישוב הישן, החרדים, והם סירבו לקחת בו חלק. כתגובה, הקימו האחרונים וועד חדש בשם "ועד העיר האשכנזי", שאיחד את יוצאי אירופה מהיישוב הישן, וכנשיאיו שימשו הרב יצחק ירוחם דיסקין והרב יוסף חיים זוננפלד.
ניסיונות איחוד בין שני הוועדים לא צלחו, בשל חילוקי דעות ביניהם, לדוגמה אודות השפה העברית, זכות בחירה לנשים, מיסים ושחיטה.