A.- S._ war Gesellschafter und Geschäftsführer der M._ GmbH. Am 30. Juni 1995 wurde über das Unternehmen der Konkurs eröffnet und am darauf folgenden 7. August 1995 das Konkursverfahren mangels Aktiven wieder eingestellt. Die Publikation im Schweizerischen Handelsamtsblatt (SHAB) erfolgte am 25. August 1995.
Mit Verfügung vom 4. Oktober 1996 forderte die Ausgleichskasse des Kantons Schaffhausen von S._ Schadenersatz im Betrage von Fr. 8568.15 für ausstehende paritätische Sozialversicherungsbeiträge betreffend die Zeit von August 1994 bis Juni 1995.
B.- Auf Einspruch hin reichte die Ausgleichskasse gegen S._ Klage auf Schadenersatz im verfügten Umfang ein.
Mit Entscheid vom 5. Juni 1998 hiess das Obergericht des Kantons Schaffhausen die Klage gut, indem es das - von S._ im Wesentlichen bestrittene - Vorliegen der Haftungsvoraussetzungen und insbesondere die Rechtzeitigkeit der Geltendmachung des Schadens bejahte. Entsprechend verpflichtete es den Beklagten, der Ausgleichskasse Fr. 8568.15 zu bezahlen.
C.- S._ lässt Verwaltungsgerichtsbeschwerde führen mit dem Antrag, in Aufhebung des vorinstanzlichen Entscheides sei die Schadenersatzklage abzuweisen. Dabei bestreitet er in erster Linie die rechtzeitige Geltendmachung der Schadenersatzforderung.
Die Vorinstanz reicht eine Vernehmlassung ein, während die Ausgleichskasse auf eine Stellungnahme verzichtet und das Bundesamt für Sozialversicherung sich nicht hat vernehmen lassen.

Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- a) Da es sich bei der angefochtenen Verfügung nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen handelt, hat das Eidgenössische Versicherungsgericht nur zu prüfen, ob der vorinstanzliche Richter Bundesrecht verletzt hat, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt worden ist (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
b) Im Rahmen von Art. 105 Abs. 2 OG ist die Möglichkeit, im Verfahren vor dem Eidgenössischen Versicherungsgericht neue tatsächliche Behauptungen aufzustellen oder neue Beweismittel geltend zu machen, weitgehend eingeschränkt. Nach der Rechtsprechung sind nur jene neuen Beweismittel zulässig, welche die Vorinstanz von Amtes wegen hätte erheben müssen und deren Nichterheben eine Verletzung wesentlicher Verfahrensvorschriften darstellt (<ref-ruling> Erw. 1c, 120 V 485 Erw. 1b, je mit Hinweisen). Diese für neue Beweismittel massgebende Rechtsprechung gilt umso mehr, wenn vor dem Eidgenössischen Versicherungsgericht nicht einmal solche Beweismittel geltend gemacht, sondern lediglich neue Behauptungen aufgestellt werden, welche die betreffende Partei ohne weiteres schon im vorinstanzlichen Verfahren hätte vorbringen können.
2.- Das kantonale Gericht hat unter Hinweis auf Gesetz und Rechtsprechung die massgeblichen Haftungsvoraussetzungen nach <ref-law> (Organstellung, Schaden, Widerrechtlichkeit, qualifiziertes Verschulden, Kausalität) umfassend und in allen Teilen richtig wiedergegeben. Darauf kann verwiesen werden. Zutreffend sind auch die Ausführungen über die Verwirkung der Schadenersatzforderung gemäss <ref-law>. Beizufügen ist, dass Kenntnis des Schadens im Sinne dieser Bestimmung in der Regel von dem Zeitpunkt an gegeben ist, in welchem die Ausgleichskasse unter Beachtung der ihr zumutbaren Aufmerksamkeit erkennen muss, dass die tatsächlichen Gegebenheiten nicht mehr erlauben, die Beiträge einzufordern, wohl aber eine Schadenersatzpflicht begründen können (<ref-ruling> Erw. 3, 118 V 195 Erw. 3a, je mit Hinweisen).
3.- a) Streitig und vorab zu prüfen ist, ob die Beschwerdegegnerin ihre Schadenersatzforderung rechtzeitig innert der einjährigen Verwirkungsfrist des <ref-law> geltend gemacht hat.
Die Vorinstanz ging davon aus, die Ausgleichskasse habe erst am 8. August 1996 mit der Einreichung der nicht quantifizierten Lohndeklaration Kenntnis des Schadens erhalten. Die Schadenersatzforderung sei somit rechtzeitig geltend gemacht worden. Demgegenüber hält der Beschwerdeführer an der schon im vorinstanzlichen Verfahren geäusserten Auffassung fest, wonach die Beschwerdegegnerin den Schaden schon seit der Publikation der Einstellung des Konkursverfahrens mangels Aktiven im SHAB vom 25. August 1995 hätte kennen müssen. Die Schadenersatzverfügung vom 4. Oktober 1996 sei deshalb verspätet erfolgt.
b) Wird der Konkurs weder im ordentlichen noch im summarischen Verfahren durchgeführt, fällt die zumutbare Kenntnis des Schadens und der Eintritt desselben in der Regel mit der Einstellung des Konkurses mangels Aktiven zusammen, wobei der Publikationszeitpunkt der Konkurseinstellung im SHAB massgeblich ist (ZAK 1990 S. 289 Erw. 4b und S. 290 Erw. 4c/bb; Nussbaumer, Die Ausgleichskasse als Partei im Schadenersatzprozess nach <ref-law>, in: ZAK 1991 S. 383 ff., 433 ff., insbesondere S. 390). Voraussetzung für eine ausreichende Kenntnis des Schadens ist aber, dass die Ausgleichskasse zu diesem Zeitpunkt bereits alle tatsächlichen Umstände über die Existenz, die Beschaffenheit und die wesentlichen Merkmale des Schadens kennt (<ref-ruling> Erw. 4a mit Hinweis, 116 V 76 Erw. 3b; ZAK 1992 S. 251 unten), sowie die Person des Ersatzpflichtigen (Nussbaumer, a.a.O., S. 390). Da die ausstehende Beitragsforderung Grundlage für die Höhe des Schadens bildet, kann daher eine Kenntnis bei der Publikation der Konkurseinstellung nur dann angenommen werden, wenn die Ausgleichskasse zu diesem Zeitpunkt in der Lage ist, die Höhe der Beitragsforderung zu beziffern.
c) Im vorliegenden Fall trat der Schaden unbestrittenermassen am 25. August 1995 ein, dem Tag, als die Konkurseinstellung mangels Aktiven im SHAB publiziert wurde. Es stellt sich die Frage, ob die Beschwerdegegnerin zu diesem Zeitpunkt bereits in der Lage war, die Höhe des Schadens zu kennen. Hiezu hat das kantonale Gericht für das Eidgenössische Versicherungsgericht in tatsächlicher Hinsicht verbindlich festgestellt (Art. 105 Abs. 2 OG), dass die Beschwerdegegnerin von August 1995 bis Sommer 1996 mehrmals erfolglos versuchte, vom Beschwerdeführer Lohndeklarationen zu erhalten, worauf sie im Sommer 1996 eine Veranlagungsverfügung erliess. Mit Schreiben vom 7. August 1996 habe der Beschwerdeführer der Beschwerdegegnerin mitgeteilt, er habe von Januar bis März 1995 von der Firma Lohn erhalten und es seien die AHV-Beiträge direkt abgezogen worden. Soweit er damit unterstellt habe, die Beiträge seien an die Beschwerdegegnerin abgeliefert worden, sei dies wahrheitswidrig, weil er im betreffenden Zeitraum Geschäftsführer und einziger Arbeitnehmer der Firma gewesen sei. Eine weitere Aufforderung der Beschwerdegegnerin, die deklarierten Lohnbezüge zu beziffern, sei unbeantwortet geblieben. Die Beschwerdegegnerin sei schliesslich gezwungen gewesen, den Lohn auf Grund der Unterlagen der Arbeitslosenkasse zu eruieren.
Gestützt auf diese tatsächlichen Feststellungen ist mit dem kantonalen Gericht zu schliessen, dass die Beschwerdegegnerin im Zeitpunkt der Konkurseinstellung am 25. August 1995 die Höhe der ausstehenden paritätischen Sozialversicherungsbeiträge noch nicht kannte und somit den Schaden zur Geltendmachung ihrer Forderung noch nicht quantifizieren konnte, zumal die von der Firma ausbezahlten Löhne für das Jahr 1995 weder mittels einer Arbeitgeberkontrolle erfasst noch von der Arbeitgeberin gemeldet worden waren. Unter diesen Umständen war die Beschwerdegegnerin ausser Stande, verfügungsweise vorzugehen. Eine fristauslösende Kenntnis konnte sich daher nur nach Durchführung der notwendigen Abklärungen verwirklichen. Die Beschwerdegegnerin brauchte zwar in der Folge verhältnismässig lange, um zu den nötigen Angaben zu gelangen, was zum Teil auch dem unkooperativen Verhalten des Beschwerdeführers anzulasten ist. Dies schadet ihr jedoch nicht, da ihr eine angemessene Frist zuzugestehen ist, um die nötigen Informationen und Unterlagen einzuholen und die Höhe der ausstehenden Sozialversicherungsbeiträge zu ermitteln. Im vorliegenden Fall erliess sie die Schadenersatzverfügung am 4. Oktober 1996. Für deren Rechtzeitigkeit genügt es daher, wenn es ihr vor dem 5. Oktober 1995 noch nicht möglich und zumutbar gewesen war, zu den für die Kenntnis des Schadens erforderlichen Unterlagen zu gelangen. In diesem Zusammenhang ist in Betracht zu ziehen, dass zwischen der Publikation der Konkurseinstellung mangels Aktiven am 25. August 1995 und dem 5. Oktober 1995 lediglich sechs Wochen liegen. In dieser kurzen Zeitspanne war es der Beschwerdegegnerin in Berücksichtigung des unkooperativen Verhaltens des Beschwerdeführers nicht möglich, die geschuldeten Beiträge zu eruieren und gestützt darauf den Schaden zu ermitteln. Ob die Ausgleichskasse nach der Publikation der Konkurseröffnung im SHAB vom 25. August 1995 die vorgeschriebene Arbeitgeberkontrolle (<ref-law>) durchführte, lässt sich aus den Akten nicht entnehmen, kann indessen offen bleiben, da dieses Verfahren nicht so schnell hätte durchgeführt werden können, dass die Ausgleichskasse vor dem 5. Oktober 1995 in Kenntnis des Schadensumfangs gekommen wäre (Kreisschreiben an die Ausgleichskassen über die Kontrolle der Arbeitgeber vom 1. Januar 1994 und Weisungen an die Revisionsstellen über die Durchführung der Arbeitgeberkontrollen vom 1. Januar 1994; vgl. zum Beginn der Verwirkungsfrist im Zeitpunkt der Arbeitgeberkontrolle unveröffentlichte Urteile P. vom 10. April 1997, H 99/96, und F. vom 23. Dezember 1997, H 149/95). Das kantonale Gericht durfte demzufolge ohne Verletzung von Bundesrecht die am 4. Oktober 1996 erlassene Schadenersatzverfügung als rechtzeitig betrachten.
4.- Auf Grund der Vorbringen in der Verwaltungsgerichtsbeschwerde stellt sich im Weitern die Frage, ob der Beschwerdeführer berechtigt war, die ausstehenden paritätischen Sozialversicherungsbeiträge nicht zu zahlen. Entgegen der Auffassung des Beschwerdeführers führen fehlende finanzielle Mittel der Gesellschaft für sich allein nicht zur Annahme eines Rechtfertigungsgrundes. Vielmehr sind konkrete Gründe darzutun, die eine durch die Illiquidität bedingte Missachtung von Vorschriften als erlaubt oder nicht schuldhaft erscheinen lassen. Die Vorinstanz hat solche Gründe zu Recht verneint und in diesem Zusammenhang darauf hingewiesen, dass die Firma in den ersten drei Monaten des Jahres 1995 über flüssige Mittel verfügte, mit denen der Lohn des Beschwerdeführers ausbezahlt und Lieferantenschulden beglichen wurden, während die Sozialversicherungsbeiträge nicht bezahlt wurden, obwohl realistischerweise keine Aussicht auf mittelfristige Sanierung der Gesellschaft bestand. Zwar bestreitet der Beschwerdeführer in jener Zeit je einen Lohn von der Gesellschaft ausbezahlt bekommen zu haben. Er sei lediglich von der Schaffhauser Kantonalbank mit Hinweis auf die Debitorenguthaben der Firma berechtigt worden, sein persönliches Kontokorrent monatlich mit dem Lohn zu belasten und zu überziehen. Bei der Vorinstanz hatte der Beschwerdeführer hingegen geltend gemacht, es habe sich um einen "Quasi-Lohn" gehandelt, der nicht AHV-beitragspflichtig gewesen sei, weil dadurch lediglich die Kontokorrentkreditschuld der Firma gegenüber der Bank erhöht worden sei. Die im letztinstanzlichen Verfahren gemachte Behauptung des Beschwerdeführers steht nicht nur im Widerspruch zu der gegenüber der Vorinstanz gemachten Aussage, sondern bildet auch ein Novum, das unzulässig ist (vgl. Erw. 1b).
Nach den zutreffenden vorinstanzlichen Ausführungen, auf die verwiesen wird, kann bei der hier gegebenen Sachlage nicht von Entlastungsgründen im Sinne der Rechtsprechung gesprochen werden. Die Schadenersatzklage erweist sich somit als begründet.
5.- Die Verwaltungsgerichtsbeschwerde ist nach dem Gesagten unbegründet. Da es nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen geht, ist das Verfahren kostenpflichtig (Art. 134 OG e contrario). Entsprechend dem Ausgang des Prozesses sind die Gerichtskosten dem unterliegenden Beschwerdeführer aufzuerlegen (Art. 156 Abs. 1 in Verbindung mit Art. 135 OG).

Demnach erkennt das Eidg. Versicherungsgericht:
I. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
II. Die Gerichtskosten von total Fr. 900.- werden dem Be-
schwerdeführer auferlegt und mit dem geleisteten Kos-
tenvorschuss verrechnet.
III. Dieses Urteil wird den Parteien, dem Obergericht des
Kantons Schaffhausen und dem Bundesamt für Sozialver-
sicherung zugestellt.
Luzern, 7. Januar 2000
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der IV. Kammer:
Die Gerichtsschreiberin: