در روایاتی، مسجد توسط دوازده مرد ناراضی از انصار و در روایاتی پانزده نفر به دستور ابوعامر الرحیب که در شام ساکن بود ساخته شده‌است. ابوعامر الرحیب یک حنیف بود که دعوت محمد به اسلام را رد کرد و در عوض همراه با مشرکان مکه در جنگ اُحد با اسلام مبارزه کرد.