Líricamente, Eric Harvey de Pitchfork Media comparó "Discipline" con uno de los primeros sencillos de la banda, "Head Like a Hole", diciendo "['Discipline'] viene de un artista largamente establecido y ahora libre de contratos intentando reafirmar su posición reflexivamente en el paisaje popular, bajo sus propios términos.