Durante il governo di Muʿammar Gheddafi, al-Sarrāj ricopre incarichi ministeriali di secondaria importanza. In seguito al rovesciamento di Gheddafi nel 2011, diviene membro di una commissione per il dialogo nazionale. Nel 2014, allo scoppio della seconda guerra civile, viene eletto membro della Camera dei rappresentanti (insediatasi poi a Tobruk) come candidato indipendente in rappresentanza di un collegio di Tripoli.