דוד מזרחי נולד בעיר העתיקה בירושלים בשנת תרכ"ה (1865) לשלמה ולשמחה מזרחי. הזוג עבר לירושלים מצפת, בה שכנה המשפחה דורות רבים, לאחר רעידת האדמה בעיר (1837) בה נספתה משפחתו של שלמה, לרבות אביו. דוד קיבל חינוך מסורתי בתלמוד תורה של העדה הספרדית. נשא לאישה את רוזה בת יוסף אשכנזי, בנקאי יהודי בעיר ניש ביוגוסלביה (סרביה). רוזה עלתה בגפה לארץ ישראל בשנת תר"ל (1869).