Lorre ble født den 18. oktober 1952 i Plainview i New York, til en jødisk familie og ble gitt det hebraiske navnet Chaim. Hans far, Robert, åpnet en kafeteria som ikke gikk bra, noe som førte til økonomiske problemer. Etter å ha fullført videregående skole, begynte Lorre på State University of New York i Potsdam, men droppet ut etter to år for å satse på en karriere som låtskriver. I løpet av sine to år på college, «spesialiserte han seg i rock 'n' roll og cannabis, og hadde biemner i LSD». I 2011 innrømmet han å ha drukket mye tidligere, og fortalte (EW) at han «levde et utsvevende liv til han var 47». Han var i rehabilitering på den tiden. Skadelig bruk av rusmidler er også et tilbakevendende tema i hans arbeid.