Han ble født i New York, i et nabolag på Manhattan. Han vokste opp hos moren, som forlot faren da Carlin var to måneder gammel. Faren døde da han var åtte år gammel. Da han var 15 år gammel, ble han utvist fra Cardinal Hayes High School. Senere gikk han inn i United States Air Force (USAF) og fikk opplæring som radartekniker.