SGML stammer fra IBM's Generalized Markup Language (GML), som ble utviklet på 1960-tallet av Charles Goldfarb, Edward Mosher, og Raymond Lorie. Navnet GML kommer fra initialene til etternavnene deres. Goldfarb skrev det endelige arbeidet på SGML syntaksen i boka "The SGML Handbook". SGML var originalt designet for å gjøre det mulig å dele maskin-lesbare dokumenter i store prosjekter i regjeringer, lov, og industri. Mange av disse dokumentene må være lesbare i flere tiår – en lang tid innenfor informasjonsteknologifeltet. SGML ble også brukt omfattende av militær, luftfart, tekniske referanser, og i industriell publiseringsindustri. XML har gjort SGML egnet til utbredt mindre skala generell bruk.