GEM nació en DRI como una librería gráfica de propósito general, conocida como GSX ("Graphics System eXtension"), creada por un equipo liderado por Lee Jay Lorenzen, quien acababa de dejar Xerox PARC (lugar de nacimiento del GUI).