Jerry Allan West ble født som nummer fem av seks barn i en fattig familie. Hans mor, Cecil Sue West, var hjemmeværende, og hans far, Howard Steward West, var elektriker i en kullgruve. Jerry West var en sjenert og innadvent gutt som vokste opp med en far som ofte var for sliten til å leke med barna etter jobb. Jerry var så liten at han trengte vitamintilskudd og ble holdt borte fra barnesport da det var fare for at han ville bli skadet. Han trakk seg enda mer tilbake da hans bror døde i Korea-krigen i en alder av 22 år da West var tolv år. Som en typisk innadvent person brukte West dagene sine på å jakte, fiske og på å spille basketball så ofte at NBA så på det som en besettelse.