Джимми Ариас был вторым из четырёх детей и старшим сыном в семье иммигрантов. Его отец Антонио родился в Испании и с родителями эмигрировал на Кубу в ходе гражданской войны. Там он играл за национальную футбольную сборную и перед самой революцией уехал в США учиться в колледже. Мать Джимми, Франсиска, выросла в Германии и приехала в США в 26 лет. Когда Джимми исполнилось три года, отец начал учить его играть в футбол, и уже в пятилетнем возрасте мальчик играл в команде с 12-летними юношами. Примерно в это время Антонио Ариас увлёкся теннисом и приохотил к нему Джимми. Тот начал всерьёз заниматься теннисом в восьмилетнем возрасте. По его собственным словам, в это время теннисные тренировки занимали у него по десять часов в день.