Когда пророк Мухаммад в сентябре 622 года прибыл из Мекки в Медину, аль-Баки представляла собой участок земли, заросший дерезой. Во время строительства мечети Пророка, Мухаммад купил этот участок у двух детей-сирот. Первым похороненным на аль-Баки стал Асаад ибн Зарара, сподвижник пророка Мухаммада из числа ансаров. В 624 году во время битвы при Бадре от болезни умерла дочь Мухаммада Рукайя. Вскоре после того, как Мухаммад прибыл из Бадра на аль-Баки был похоронен Усман ибн Мазун, который считается первым похороненным мухаджиром.