Tras su publicación, la crítica musical destacó "Oh Mercy" como el «retorno de Dylan a la formalidad musical» tras una sucesión de fracasos comerciales como "Knocked Out Loaded" y "Down in the Groove".