Kristoffer Kristofferson ble født 22. juni 1936 i Brownsville (i Texas) som er nær grensa til Mexico og Kristofferson snakket godt spansk. Foreldrene var Mary Ann (født Ashbrook) og Lars Henry Kristofferson, pilot og generalmajor i U.S. Army Air Corps. Hans besteforeldre på farssiden var immigranter fra Sverige, mens hans mor stammet fra engelske, skotsk-irske, tyske, sveitsisktyske og nederlandske forfedre. Kristoffersons bestefar på farssiden var offiser i den svenske hæren. Mens Kristofferson var barn, prøvde hans far å presse ham inn i en militær karriere.