Kollektivet ble grunnlagt av barndomsvennene Bill Doss, Will Cullen Hart, Jeff Mangum og Robert Schneider fra Ruston, Louisiana i USA. De fire lagde musikk sammen i ungdomsårene, før de gikk videre med å starte sine egne band: Doss og Hart med The Olivia Tremor Control, Mangum med Neutral Milk Hotel og Schneider med The Apples in Stereo. Nevnte band blir omtalt som «de tre store» innenfor Elephant Six.