Hij is geboren en getogen in de Franse stad Belfort, zijn familie komt van oorsprong uit de regio Oran in Algerije. Rahim bezocht in zijn jeugd regelmatig de bioscoop. Na de middelbare school volgde hij een studie film aan de Université Paul-Valéry-Montpellier. Tijdens zijn studie speelde hij zichzelf in de documentaire "Tahar l'étudiant". Zijn eerste grote rol in een film was "Un prophète" dat hem vele filmprijzen opleverde, waaronder twee Césars voor beste acteur en meest belovend acteur, een Europese filmprijs en een Patrick Dewaereprijs. In 2011 was zijn internationale doorbraak met de film "The Eagle".