El periodista Mike Joseph escribió en la página de internet "Pop Matters" que, «los toques musicales y las referencias a la música 'básica' son alusivos al "soul" y al "funk" de los años 1960 y los 70, actualizados con el poder de DJ Premier, reflejado en 'Ain't No Other Man'», mientras que Jake Meaney, de la misma organización, sostuvo que el tema es «inteligentemente pegadizo» y concluyó que "Back to Basics" contiene «dos gemelos increíblemente pegadizos», refiriéndose a «Back in the Day» y a «Ain't No Other Man».