All Music Guide consideró que la canción «By the Way» combina «el funk ardiente de Hollywood, armonías suaves, un poquito de canto sobre chicas [y] un poquito de pasarlo bien en las calles durante el verano».