Po skončení studií na vysoké škole sloužil jako zdravotník americké armády v Korejské válce. Ginsberga potkal až v roce 1954 v San Franciscu, a to díky malíři jménem Robert La Vigne. Orlovsky byl nejdříve zaměstnán jako Ginsbergův sekretář a později se stal i jeho milencem. Tento vztah vydržel čtyřicet let.