Larry Kings far var fra Østerrike-Ungarn og moren kom fra Det russiske keiserdømmet. Faren døde da Larry var ni år gammel og de måtte leve av sosial stønad til moren fikk arbeide som syerske i New York. King gikk aldri på college – etter en dårlig avgangseksamen fra high school begynte han å ta tilfeldige arbeidsoppdrag. Da han var 22 år gammel flyttet han fra Brooklyn til Florida.