עניי ירושלים שמעו על תוכניתו של סבאג ובתגובה פלשו לשטח הריק וללא כל אישור הקימו צריפים, חדרים ואוהלים, בטענה שמונטיפיורי ייעד את השטח למגורים לעניי ירושלים. בשנת 1887 הוגשה תביעה משפטית נגד סבאג בלונדון, וסבאג נעתר להעביר את הקרקע לאחריות "קרן מזכרת משה".
בשנת 1892 נעשה מאמץ ראשון לפנות את התושבים שהתנחלו בשטח, ומנו כבר למעלה ממאתיים משפחות. בסופו של דבר הצליחו להעביר חלק קטן מהתושבים למגרש ששכן בגבול שכונת "מאה שערים". בעקבות מבצע זה הוקמו שכונות עבור המפונים: "נווה שלום" (שכונתה גם "בני משה") לאשכנזים ו"שבת צדק" לספרדים - שתיהן כיום חלק משכונות נחלאות.
מבנה ומראה השכונה בהקמתה.
בניית השכונה החדשה הושלמה בשנת 1893, כשלושים שנה לאחר הקמת משכנות שאננים, שלושים שנה שבהן השטח נותר ריק. ימין משה נקראה על שם משה מונטיפיורי, ומקור שמה בספר ישעיהו: "מוֹלִיךְ לִימִין מֹשֶׁה זְרוֹעַ תִּפְאַרְתּוֹ בּוֹקֵעַ מַיִם מִפְּנֵיהֶם לַעֲשׂוֹת לוֹ שֵׁם עוֹלָם" (ישעיהו ס"ג, 12).
כבר בראשיתה נחלקה השכונה לשניים: חלק אחד, שהרחוב הראשי שלו היה רחוב נתן (על שם הרב נתן מרקוס אדלר, רבה של בריטניה), יועד לאשכנזים, והחלק השני, שהרחוב הראשי שלו היה רחוב יהודית (על שם אשתו של השר מונטיפיורי), יועד לספרדים.
בתי ימין משה היו קטנים ונבנו כטורים ארוכים. הרחובות כולם רוצפו באבן, ורחובות בעלי מדרגות ירדו בתלילות לרוחב השכונה. כל בניין בשכונה היה בעל שתי קומות ובכל דירה היו שני חדרים, האחד גדול מחברו. המטבח היה בחלק האחורי של הדירה. הבתים לא דמו אחד לשני: כל בעל בית בנה את ביתו לפי צרכיו ורצונותיו. בחלק מן הבתים אף היה בור מים ששימש את המשפחה.
בשנת 1897 נחנך בית הכנסת הספרדי הגדול, ימין משה ובשנת 1898 הוקם בית הכנסת האשכנזי "בית ישראל".
אורח החיים בשכונה.
שכונת ימין משה נחשבה שכונה מודרנית ביותר. רבניה הספרדים והאשכנזים היו אומנם דתיים, אך לא קנאים. הורים בימין משה התירו לנערי הרובע היהודי להיפגש עם בנותיהם, בדרך כלל בבתי הקפה שבמושבה הגרמנית הקרובה. התושבים עסקו בעיקר בדת ובמסחר; בימין משה התגוררו גבאים ורבנים רבים, כמו גם סוחרים משכילים. השכלתם של הסוחרים ושליטתם בשפות זרות גרמו לפריחת עסקיהם שהתנהלו בדרך כלל בעיר העתיקה.
יעקב יהושע מביא בספרו "שכונות בירושלים הישנה" עדות בעברית ובלאדינו על אופייה של השכונה:
"זו הייתה שכונה של חכמים גדולים - איסטה אירה קומפניה די חכמים גראנדיס... בעלי ראשים גדולים - איראן קאב'יסאס גראנדיס. גאונים שלא מצאת כדוגמתם בשום עיר אחרת"
ואכן בין הרבנים ניתן היה למנות את חכם שמואל מיוחס, חכם שמואל נסים, והרב חיים לוי והרב יצחק בדהב.
בהמשך הפכו בתי השכונה לרכושם הפרטי של התושבים: כזכור, יוסף סבאג חשב בטעות שאדמות ימין משה היו כלולות בין האדמות שרכש השר מונטיפיורי. כשהשלטון הבריטי דרש לראות את שטרי המכירה עבור שכונת ימין משה, לא נמצא כל שטר: השטר היחיד שנמצא התייחס לרכישת אדמות משכנות שאננים. בסופו של דבר השלטונות הבריטיים ויתרו על השטרות, והבתים הפכו לקניינם של התושבים.
השכונה עד מלחמת העצמאות.
במרוצת השנים לא נשמר המאזן בין אשכנזים לספרדים בשכונה. תושבים אשכנזים רבים עזבו ותושבים ספרדים תפסו את מקומם. בשל היות השכונה שכונת סְפר, מחוץ לחומות העיר, תושבי השכונה מצאו את עצמם תחת סכנת התקפה מתמדת מצד ערביי הסביבה. בשנת 1920 הקימו התושבים שערים לשכונה כדי לתחום אותה, אך למרות זאת השכונה הייתה נתונה תחת התקפות קשות במאורעות תרפ"ט (1929) אז פרצו ערבים לשכונה.
השכונה נפגעה גם בפרעות תרצ"ו-תרצ"ט (1939-1936). המצב הקשה מתואר במכתב ששלחו מורים בבית הספר "מזרחי" השכונתי: המורים פנו למנהל תלמוד התורה על מנת שישיג להם אישורים ביטחוניים לנשיאת נשק. המכתב בא בעקבות התנכלויות חוזרות ונשנות כלפי התושבים ורצח של אחד מתושבי השכונה.
מצב השכונה החל להידרדר כבר ב-1929, ובשנת 1948 אחרון התושבים הוותיקים עזב את ימין משה.
ימין משה בתקופת ירושלים המחולקת (1967-1948).
במלחמת העצמאות.
לשכונת ימין משה היה תפקיד חשוב במלחמת העצמאות, בהיותה מגשרת בין העיר החדשה לבין העיר העתיקה שבתוך החומות. עם זאת, היה קשה להגן על השכונה, בשל מיקומה בשיפולי הר ומוקפת בשכונות ערביות.
"ההגנה" החלה לשלוח כוחות לימין משה בשמחת תורה 1947, כוחות שבהם נטלו חלק גם תלמידי תיכון. ב-10 בפברואר 1948, כארבעה חודשים לאחר מכן, הסתערו כוחות ערביים על בית עבדאללה, בית ערבי שנבנה מעל לימין משה (כיום: בית הקונפדרציה). הכוחות הערביים, שהשתלטו על בית עבדאללה, שלשלו לשכונה שלמטה חביות חומר נפץ. הסיוע בא מצד אחד ממפקדי "ההגנה" ששמרו במקום, אברהם מיכאל קירשנבאום, שירה מגג אחד הבתים ופגע בכמה תוקפים וחביות חומר נפץ. קירשנבאום נורה דקות ספורות לאחר מכן על ידי חיילים בריטים, פעם ראשונה מגג מלון המלך דוד ונפצע קל, אך בירייה שנייה, נפצע אנושות מכדור דום-דום שנורה מגג בניין "האחים דוד" לפי עדות האחות פנינה, ומת מפצעיו לאחר יומיים בסניף בית החולים "הדסה" שהיה ברחוב החבצלת דהיום. התושבים ייחדו בשכונה פינת זיכרון לקירשנבאום. זמן קצר לאחר מכן מונה שלמה חרל"פ, צעיר ירושלמי בן 27, למפקד ימין משה. המעבר היחיד בין ימין משה לבין שאר השכונות בירושלים החדשה היה במקום בו נמצא כיום רחוב ז'בוטינסקי שבטלביה.
רבים מתושבי השכונה עזבו אותה, והשכונה בוצרה על מנת לשפר את המצב הביטחוני בה. לשם כך נהרסו "בתי טורא", וגם כדי לאפשר תנועה מבלי להיחשף לצלפים שבהר ציון. הבריטים השתלטו על בית עבדאללה ומדי פעם ירו משם לעבר ימין משה.
בליל ה-14 במאי, יום עזיבת הבריטים את ארץ ישראל והכרזת המדינה, ננטשה השכונה לגמרי ותושביה עברו לבתים ערביים נטושים בשכונת רוממה, אך רובם המשיכו להתפלל בשבתות בימין משה. השכונה שימשה כמעבר לכוחות צבא.
לאחר מלחמת העצמאות.
הפסקת האש בשוך הקרבות בירושלים הותירה את בתיה הנטושים של ימין משה בצידו המערבי של "הקו העירוני", שחצה את העיר והפך לגבול ישראל-ירדן. תושבי ימין משה בקשו לשוב אליו, אך לא מצאו את המשאבים הנדרשים על מנת לשפץ את הבתים ההרוסים.
בשנת 1949 עלו ארצה יהודים רבים מטורקיה. יוסף מלכי, שעמד בראש ועד העולים מטורקיה, קיבל את הצעת הסוכנות היהודית להשתכן בימין משה, שהייתה אז מגודרת וסגורה. מלכי מתאר את המקום כנטוש ומוזנח, בעל גגות שבורים וקירות פרוצים, שרידי מלחמת העצמאות. אך למרות זאת, הוחלט שהעולים מטורקיה יגורו בימין משה. בחלקה המזרחי של השכונה, חלק הגובל בחומת העיר העתיקה, לא התיישבו העולים מטורקיה, בשל הקרבה למוצבים הירדנים, אולם כעבור מספר שנים, בשל הצפיפות והצורך במקומות נוספים, הוחלט להתיישב גם בחלק זה של השכונה. ההתיישבות בשכונה נעשתה ללא תשלום או אישור הרשויות, והתושבים קנו לעצמם חזקה על הבתים. בשל העזובה במקום לא שיערו העולים מטורקיה שהדבר יהווה בעיה.
ועד העולים מטורקיה המשיך בסיוע לתושבי השכונה ועזר בשיפוץ הבתים. בשל חוסר הגישה לרכב בשכונה, התושבים נשאו על גבם את שקי המלט וחומרי הבנייה. התושבים השתמשו בבארות מים, כיוון שהשכונה לא חוברה למים ולחשמל. בראשית שנות החמישים החלה העירייה לספק מים לשכונה, ולאחר מכן השכונה חוברה למערכות החשמל והביוב.
השכונה החלה להתפתח, ותושבים נוספים, אשכנזים וספרדים, התיישבו בה. יוסף מלכי פתח את המכולת הראשונה של ימין משה ברחוב מלכי (שנקרא על שמו) מול בית הכנסת הספרדי, ששופץ בעזרת האדון פרנק, רב השכונה. יוסף מלכי ואשתו יזמו פתיחת מקווה ובית מרחץ, בניין גבה-קומה ברחוב התקווה. במהלך השבוע המקווה יועד לנשים, וגברת מלכי הייתה אחראית עליו, וביום שישי הוא שימש בית מרחץ לגברים, שרחצו בו תמורת תשלום סמלי. יוסף מלכי העביר את האחריות על המכולת לתושבים אחרים, ובהמשך עברה המכולת לרחוב טורא.
בשנת 1949 נוסד "בית ספר מזרחי ימין משה", בית ספר ממלכתי דתי לבנים ולבנות, שבמשך שנים רבות נוהל על ידי ציפורה דיסקין ובהמשך שמואלי ולאחריו שלמה צחי. בתחילת דרכו שכן המוסד בבתים שונים בשכונה, וב-1950 ייחדה העירייה עבורו צריף עם חמש כיתות (במקביל לכיתות שנותרו בבתים). בהמשך ביקשו תושבי השכונה לשנות את שמו ל"הר ציון". ב-1968 התמזג המוסד עם בית הספר "יהודה הלוי" בקטמון.
שינוי פני האוכלוסייה (1977-1967).