«I've Just Begun (Having My Fun)» contó con una buena recepción de los críticos, quienes la compararon con «Hella Good» de No Doubt (2001).