A.- S._ (geboren 1977) leidet seit Geburt an verschiedenen Gebrechen und bezog hiefür Leistungen der Invalidenversicherung, so unter anderem für die Behandlung des Geburtsgebrechens Ziff. 390, Cerebrale Bewegungsstörung (Bericht des Dr. med. M._, Kinderarzt FMH, vom 10. Dezember 1984). Wegen Verdachts auf das Geburtsgebrechen Ziff. 387, Angeborene Epilepsie, überwies Dr. med.
M._ S._ an Dr. med. K._, Elektroencephalogische Station, welcher ein EEG erstellte und seinerseits den Verdacht einer Narkolepsie äusserte (Bericht vom 5. Mai 1988). Dr. med. I._, Kinder- und Jugendpsychiater FMH, diagnostizierte das Geburtsgebrechen Ziff. 404, Infantiles psychoorganisches Syndrom (POS; Bericht vom 23. Dezember 1992). Im August 1994 begann S._ eine Lehre als Elektromonteur, welche er infolge Überforderung im Oktober 1996 abbrechen musste. Die IV-Stelle Glarus liess berufliche Massnahmen abklären. Mit Anmeldung vom 15. Oktober 1996 ersuchte S._ um eine Invalidenrente. Gestützt auf Berichte des Berufsberaters der Invalidenversicherung vom 14. Januar und 5. September 1997, der Abklärungs- und Ausbildungsstätte X._ vom 26. August 1997 und 17. April 1998 sowie der Frau PD Dr.
phil. R._, Frau Dr. med. C._ und des Dr. med.
B._, Neurologische Klinik, Spital Y._, vom 12. Dezember 1997 sprach die IV-Stelle S._ mit Wirkung ab 1. Mai 1998 eine Viertelsrente zu (Verfügung vom 3. September 1998).
B.- S._ erhob hiegegen Beschwerde mit dem Antrag, es sei ihm eine ganze Rente ab dem 12. Oktober 1996 zu gewähren, eventualiter sei die Rente unter Berücksichtigung eines Härtefalles neu zu berechnen. Mit der pendente lite erlassenen Verfügung vom 5. Oktober 1998 anerkannte die IV-Stelle einen Härtefall und sprach S._ anstelle der Viertels- eine halbe Rente zu. Das Verwaltungsgericht des Kantons Glarus wies die Beschwerde mit Entscheid vom 14. Juni 2000 ab, soweit diese nicht durch die Verfügung vom 5. Oktober 1998 gegenstandslos geworden war.
C.- S._ lässt Verwaltungsgerichtsbeschwerde führen und weitere medizinische Abklärungen sowie gestützt darauf die Neufestsetzung der Rente ab 1. Oktober 1996 beantragen.
IV-Stelle und Verwaltungsgericht schliessen auf Abweisung der Verwaltungsgerichtsbeschwerde. Das Bundesamt für Sozialversicherung lässt sich nicht vernehmen.

Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Die Vorinstanz hat die Bestimmungen und Grundsätze über den Begriff der Invalidität (<ref-law>), den Anspruch auf eine Invalidenrente (Art. 28 Abs. 1 und 1bis IVG), den Härtefall (<ref-law>) und die Bemessung der Invalidität von Versicherten ohne Ausbildung (<ref-law> in Verbindung mit <ref-law>; ZAK 1982 S. 495, 1978 S. 32, 1974 S. 548) zutreffend dargelegt.
Darauf kann verwiesen werden.
Zu ergänzen bleibt, dass das Sozialversicherungsverfahren vom Untersuchungsgrundsatz beherrscht ist; danach haben Verwaltungsträger und im Beschwerdefall das Gericht von Amtes wegen für die richtige und vollständige Abklärung des rechtserheblichen Sachverhaltes zu sorgen (<ref-ruling> Erw. 2, 122 V 158 Erw. 1a, je mit Hinweisen).
2.- Streitig ist der Anspruch auf eine Invalidenrente.
a) Der Beschwerdeführer beanstandet, sein gesundheitlicher Zustand und dementsprechend die ihm offen stehenden Arbeitsmöglichkeiten seien ungenügend abgeklärt worden. Er beantragt deshalb eine neurologisch-medizinische Abklärung (EEG, Schädel-MRI, Untersuchung im Schlaflabor), ob neben dem POS auch eine Narkolepsie, eine angeborene cerebrale Bewegungsstörung sowie allenfalls eine weitere neurologische Störung oder Krankheit besteht, und gestützt auf dieses Ergebnis eine Neufestsetzung seiner Invalidenrente ab
1. Oktober 1996.
b) IV-Stelle und Vorinstanz stellen sich hingegen auf den Standpunkt, anhand des Berichts von Dr. med. I._ vom 23. Dezember 1992, der neurologischen und neuropsychologischen Untersuchung im Spital Y._ vom 8. Dezember 1997 sowie der Ausführungen des Dr. med. Z._, Facharzt für physikalische Medizin und Rehabilitation, in den Berichten der Abklärungs- und Ausbildungsstätte X._ sei der medizinische Sachverhalt genügend abgeklärt.
Dieser Ansicht kann nicht gefolgt werden. Der Versicherte weist zu Recht darauf hin, dass bezüglich des diagnostizierten und zu Lasten der Invalidenversicherung auch behandelten Geburtsgebrechens Ziff. 390, Cerebrale Bewegungsstörungen, keine weiteren Abklärungen erfolgten, inwiefern dieses Leiden den Beschwerdeführer im Zeitpunkt der Rentenfestsetzung noch behindert. Zu beachten ist auch, dass die Beurteilung durch Dr. med. I._ über fünf Jahre vor Verfügungserlass erfolgte. Insbesondere aber fällt auf, dass Dr. med. K._ bereits 1988 den Verdacht einer Narkolepsie äusserte und die Untersuchung im Dezember 1997 in der Neurologischen Klinik des Spitals Y._ diesbezüglich keine Ergebnisse brachte, sondern vielmehr ausdrücklich darauf hingewiesen wurde, dass diese Frage mit den zur Verfügung stehenden Möglichkeiten nicht beantwortet werden könne und eine entsprechende Untersuchung in einem Schlaflabor notwendig sei; allgemein wurden zur weiteren Abklärung ein EEG, Schädel-MRI sowie allenfalls eine psychiatrische Beurteilung empfohlen (Bericht vom 12. Dezember 1997). Die IV-Stelle holte jedoch keine zusätzlichen Berichte oder Gutachten ein.
Wegen dieser ungeklärten medizinischen Fragen und der zum Teil nicht mehr aktuellen Berichte ist eine gründliche medizinische Abklärung notwendig, welche für eine zuverlässige Beurteilung der zumutbaren Tätigkeiten erforderlich ist. Da die Beschwerden des Versicherten verschiedener Art sind, ist die Einholung eines polydisziplinären Gutachtens unter besonderer Berücksichtigung des neurologischen Aspekts angebracht.
3.- Über den Anspruch auf eine Parteientschädigung der obsiegenden Partei ist von Amtes wegen zu entscheiden (Art. 159 Abs. 1 OG); eines besonderen Antrags der obsiegenden Partei bedarf es nicht (<ref-ruling> Erw. 3).
Praxisgemäss wird die Rückweisung einer Sache zur weiteren Abklärung und neuen Verfügung bezüglich Gerichtskosten und Parteientschädigung dem Obsiegen gleichgestellt (SVR 1999 IV Nr. 10 S. 28 Erw. 3 mit Hinweisen). Dem Versicherten, welcher durch lic. iur. T._ vertreten ist, steht deshalb eine Parteientschädigung für das letztinstanzliche Verfahren zu (Art. 159 Abs. 2 OG). Indes gilt es den Umstand zu berücksichtigen, dass die Vertreterin nicht selbstständige Anwältin ist und daher kein entsprechender Kanzleiaufwand abgegolten werden muss.

Demnach erkennt das Eidg. Versicherungsgericht:
I.Die Verwaltungsgerichtsbeschwerde wird in dem Sinne
gutgeheissen, dass der Entscheid des Verwaltungsgerichts
des Kantons Glarus vom 14. Juni 2000 und die
Verfügung der IV-Stelle Glarus vom 5. Oktober 1998
aufgehoben werden und die Sache an die IV-Stelle zurückgewiesen
wird, damit sie, nach erfolgter Abklärung
im Sinne der Erwägungen, über den Rentenanspruch neu
verfüge.
II.Es werden keine Gerichtskosten erhoben.
III. Die IV-Stelle Glarus hat dem Beschwerdeführer für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung von Fr. 1000.- (einschliesslich
Mehrwertsteuer) zu bezahlen.
IV.Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Glarus, der Kantonalen Ausgleichskasse Glarus und dem Bundesamt für Sozialversicherung
zugestellt.
Luzern, 21. Mai 2001
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der II. Kammer:
i.V.
Die Gerichtsschreiberin: