Arizona State University
Джим, который теперь носил фамилию Палмер и мечтал стать профессиональным бейсболистом, начал играть в различных детских лигах. Перед поступлением в старшую школу семья переехала в Скоттсдейл, Аризона. За школьную бейсбольную команду он играл в качестве питчера и центрфилдера. Кроме того, Джим играл в американский футбол в амплуа ресивера и в баскетбол. Во всех трёх видах спорта он был одним из лучших игроков штата. Перед окончанием школы его приглашали к себе Калифорнийский университет, Университет Южной Калифорнии и Стэнфорд, но он выбрал Университет штата Аризона в Темпе.