I 1994 ble han innvalgt i det tyske parlamentet, Forbundsdagen for Hochsauerland. Der ble han medlem av finanskomiteen og CDU/CSUs finanspolitiske talsmann i 1996. I 1998 ble han parlamentarisk nestleder for CDU/CSU, og i 2000 etterfulgte han Wolfgang Schäuble som parlamentarisk leder for CDU/CSU. Han ble parlamentarisk leder samtidig med at Angela Merkel ble partileder, og de var regnet som rivaler i lederskapet for CDU rundt årtusenskiftet. Merz var med i Edmund Stoibers skyggeregjering i forkant av valget i 2002. Etter at Stoiber tapte valget overtok Angela Merkel selv som parlamentarisk leder i Forbundsdagen, og Merz fortsatte som nestleder frem til 2004, da han trakk seg fra lederskapet i fraksjonen. I 2007 annonserte han at han ikke stilte til gjenvalg ved valget til Forbundsdagen i 2009.