En 1999 Axl regresó a los estudios con los nuevos integrantes de Guns N' Roses, los guitarristas Robin Finck (Nine Inch Nails), Dave Navarro (Jane's Addiction) y Paul Tobias, el bajista Tommy Stinson (The Replacements), el baterista Josh Freese y los tecladistas Dizzy Reed y Chris Pitman, en ese año publicaron el tema “Oh My God”.