Pogge spelade i Western Hockey League (WHL) med Prince George Cougars innan han värvades av Calgary Hitmen under sista transferdagen säsongen 2004-05. Efter sin rookiesäsong med Cougars blev han draftad i den tredje rundan, som 90:e spelare totalt av Toronto Maple Leafs i NHL Entry Draft 2004. Han skrev därefter på ett treårigt kontrakt med Leafs den 19 december 2005. Pogge spelade för Hitmen under säsongen 2005-06 och tilldelades Four Broncos Memorial Trophy som årets spelare samt årets målvakt i CHL och WHL.