"Little by Little" es quizá la más controvertida canción en el álbum, recibiendo comentarios de los que pensaban que era un ejemplo clásico de un himno optimista Oasis y los que consideraban que era una melodía cursi, aduladora y condescendiente.