Han har tidligere spilt for den ghanesiske klubben Asante Kotoko og de tyske klubben Greuther Fürth og FC Augsburg. Den 16. august 2015 signerte Rahman en femårskontrakt med Chelsea.