Walker se unió a la banda Panic! at the Disco en mayo de 2006 como reemplazo del bajista Brent Wilson, y estuvo presente con Panic! en los premios MTV Video Music Awards de 2006 cuando ganaron en la categoría de mejor vídeo por la canción «I Write Sins Not Tragedies», a pesar de no estar estado involucrado en su realización.