Dylan descartó usar su habitual banda en la grabación de "Oh Mercy", por lo que pidió a Lanois que reclutara a músicos locales, entre los que figuraron los guitarristas Mason Ruffner y Brian Stoltz, el bajista Tony Hall y el batería Willie Green.