Chicago White Sox
루이지애나주 슈리브포트에서 태어난 워커는 11살에 야구를 하기 시작하기 전까지 농구에 흥미를 느꼈다. 워커는 캘리포니아주 유카이파의 유카이파 고등학교에 진학하여 투수와 유격수로 활동했다. 유카이파에서, 워커는 후에 애리조나 다이아몬드백스, 시카고 화이트삭스 등에서 3루수로 활동하는 맷 데이비슨과 함께 뛰었다.