Ghoulam syntyi Ranskassa algerialaisperheeseen. Hänen isänsä on kotoisin Batnasta ja äiti Annabasta. Ghoulamin veli Nabil on maastojuoksija ja edusti Ranskaa vuoden 2004 Maastojuoksun MM-kilpailuissa.