Der 1,88 m große Verteidiger begann seine Profikarriere bei den Kamloops Blazers in der kanadischen Juniorenliga Western Hockey League. Mit den Blazers gewann der Rechtsschütze 1994 den Memorial Cup, die kanadische Juniorenmeisterschaft, und wurde im anschließenden NHL Entry Draft als Zehnter in der ersten Runde von den Washington Capitals ausgewählt. Zunächst blieb Baumgartner jedoch in der WHL, wo er 1995 seinen zweiten Memorial Cup gewann und zum zweiten Mal in Folge ins Memorial Cup All-Star Team gewählt wurde. Außerdem wurde er zum Most Valuable Player der WHL gekürt und mit der Bill Hunter Trophy als bester Verteidiger der Liga ausgezeichnet.