Kristofferson flyttet ofte i ungdommen fordi faren hans var i militæret, og de slo seg ned i San Mateo i California. Han avla eksamen på San Mateo High School i 1954. Som en spirende forfatter, ble Kristofferson inntatt i Pomona College i Claremont i California. Hans tidlige forfatterskap inkluderte prisvinnende essays, og «The Rock» og «Gone Are the Days» ble publisert i . Disse tidlige historiene røper Kristoffersons lidenskaper og interesser. «The Rock» er en geografisk form som ligner formen av en kvinne, mens «Gone Are the Days» var om en hendelse med et rasistisk innhold.