Som amatør vant Littler blant annet US Amateur Championship i 1953. I 1954 vant han San Diego Open, en turnering på PGA-touren som amatør, før han ble profesjonell senere samme sesong. I sin første turnering som profesjonell ble han nummer to i major-turneringen US Open. Littler hadde kallenavnet "Gene the Machine" pga den gode swingen jans.