De første versjonene av X ble utviklet som kommersiell og proprietær programvare av MIT, IBM og Digital Equipment Corporation (DEC). Fra og med revisjon 9 (X9) i 1985 er X blitt utviklet av en rekke konsortier. ble grunnlagt i januar 1988 som en ikke-kommersiell sammenslutning av selskaper. I 1993 ble utviklingen av X videreført av , og i januar 1997 overtok ansvaret. Siden februar 2004 har X blitt videreutviklet av X.Org Foundation.