Árbenz ble født i Quetzaltenango i Guatemala som sønn av en sveitsisk farmasøyt som hadde emigrert til Guatemala. Faren begikk selvmord mens Árbenz ennå var i barneårene. Árbenz gikk inn i hæren, studerte ved Guatemalas militærakademi og ble under-løytnant i 1935. Han vendte tilbake til militærakademiet i 1937 og tjenestegjorde som lærer i realfag og historie. I 1939 møtte han sin framtidige kone, Maria Cristina Vilanova, som var sosialist og som også påvirket Árbenz sterkt i denne retning. Maria var datter av en rik jordeier fra El Salvador og hadde svært stor innflytelse på Árbenz gjennom hele livet. Mye taler for at det var Maria som overbeviste han om å slutte seg til en gruppe venstreorienterte offiserer og fjerne diktator Jorge Ubico (1878–1946) i 1944. Etter kuppet mot Ubico tjenestegjorde Árbenz som Guatemalas forsvarsminister i Juan José Arévalos nye regjering.