Lahir di Nice, Sarr bergabung dengan klub lokal OGC Nice pada usia enam tahun. Sarr menghabiskan 12 tahun di akademi klub sebelum tampil pertama kali untuk klub OGC Nice pada 14 Agustus 2016 saat melawan Stade Rennais Football Club, pada usia 17 tahun. Sarr mencetak gol kemenangan untuk tim pada menit ke-60, menyundul bola hasil tendangan bebas dari Jean Seri. Gol tersebut menempatkan dirinya sebagai pemain termuda kedua yang mencetak gol pada penampilan perdana di Ligue 1, pemain termuda yang mencetak gol saat debut adalah pemain internasional asal Nigeria Bartholomew Ogbeche. Gol tersebut ia dedikasikan kepada korban Serangan Nice 2016. Sebelum pertandingan dimulai, mengheningkan cipta dilakukan untuk mengenang korban serangan dimana pemain dari Nice dan Rennes mengenakan baju khusus yang memuat nama-nama korban yang tewas. Pada 7 November 2016, Sarr menandatangani kontrak profesional pertama dengan Nice dan pada akhir musim ia telah tampil sebanyak 30 kali untuk klub yang pada akhir musim menempati urutan ketiga.