בעבר שרפאת הייתה כפר חקלאי ועצמאי. בשנות ה-30 התגורר בכפר מוסא אל-עלמי, ובביתו שבכפר נפגש עם אישים חשובים ובהם עם דוד בן-גוריון. שרפאת סופחה לשטח העיר ירושלים בשנת 1967 לאחר איחוד העיר במלחמת ששת הימים. בשנת 1993 הוקם בשכונה מנהל קהילתי, המשותף גם לבית צפאפא. החל משנת 2015 כביש בגין עובר בסמוך לשכונה. במהלך אינתיפאדת הסכינים התפרסם כי שרפאת תזכה לתקציבים נוספים מהעירייה, מאחר שאף אחד מתושביה לא נטל חלק באותם אירועים אלימים. במרץ 2019 התגלה בשטח השכונה יישוב יהודי מהתקופה החשמונאית. בכפר התגלו מערת קבורה, בור מים וגת לייצור יין. בינואר 2020 בוצעה בשרפאת פעולת תג מחיר" שבמסגרתה נשרף מסגד מקומי. השכונה נחשבת לאטרקטיבית בהשוואה לשאר השכונות הערביות בעיר, לאור קרבתה למרכז ירושלים ולאזור התעשייה תלפיות.