Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- a)Auf die Verwaltungsgerichtsbeschwerde kann nur so weit eingetreten werden, als die Schadenersatzforderung kraft Bundesrechts streitig ist. Im vorliegenden Verfahren ist deshalb auf die Verwaltungsgerichtsbeschwerde in dem Umfang nicht einzutreten, als sie sich gegen die Schadenersatzforderung für entgangene Beiträge an die kantonale Familienausgleichskasse richtet (vgl. <ref-ruling> Erw. 1b, 118 V 69 Erw. 1b mit Hinweis).
b)Da es sich bei der angefochtenen Verfügung nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen handelt, hat das Eidgenössische Versicherungsgericht nur zu prüfen, ob das vorinstanzliche Gericht Bundesrecht verletzt hat, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt worden ist (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
2.- Das kantonale Obergericht hat unter Hinweis auf Gesetz (Art. 52 AHVG) und Rechtsprechung (vgl. statt vieler <ref-ruling> Erw. 5b) die Voraussetzungen zutreffend dargelegt, unter welchen Organe juristischer Personen den der Ausgleichskasse wegen Missachtung der Vorschriften über die Beitragsabrechnung und -zahlung (Art. 14 Abs. 1 AHVG; Art. 34 ff. AHVV) qualifiziert schuldhaft verursachten Schaden zu ersetzen haben. Darauf wird verwiesen. Richtig ist auch, dass die Delegation von Geschäftsführungskompetenzen einen Verwaltungsrat nicht von seinen gesetzlich vorgeschriebenen Aufsichts- und Kontrollpflichten (vgl.
Art. 716a und 717 OR) entbindet.
3.- Der Tod des Geschäftsführers im Mai 1998 entlastet den Beschwerdeführer nicht, sind doch Lohnbeiträge seit Januar 1997 ausstehend. Somit hat die aufgelöste Firma ihre Beitragspflichten schon früher nicht korrekt erfüllt, wofür der Beschwerdeführer als einziger Verwaltungsrat einzustehen hat. Die nach April 1998 erfolgten Zahlungen und der von der Kasse bewilligte Zahlungsaufschub vom 14. Mai 1998 vermindern sein Verschulden nicht. Zunächst hat es der Beschwerdeführer ohne ersichtlichen Grund unterlassen, schon vor der Vorinstanz auf den Zahlungsaufschub hinzuweisen, weshalb es wegen des vorliegend bestehenden Novenverbots (<ref-ruling> Erw. 1b; AHI 1994 S. 211 Erw. 2b, je mit Hinweisen) unzulässig ist, ihn erst jetzt geltend zu machen. Sodann würde ihn der Aufschub ohnehin nicht entlasten:
Zahlungsaufschübe sind zwar zu berücksichtigen, soweit sie dem Beitragspflichtigen ein Abweichen von den ordentlichen Zahlungsterminen gestatten. Vorliegend aber hielt der Beschwerdeführer die Vereinbarung mit der Kasse nur bis September 1998 ein, worauf mangels weiterer Zahlungen der ganze noch geschuldete Restbetrag verfiel. Insbesondere jedoch ändert ein Zahlungsaufschub nach der Rechtsprechung (<ref-ruling>f. Erw. 3b) nichts an der Widerrechtlichkeit der nicht ordnungsgemässen Bezahlung der Beiträge, und die Verschuldensfrage beurteilt sich primär nach den Umständen, die zum Zahlungsrückstand geführt haben. Somit kommt es nicht auf die Existenz der Vereinbarung an, sondern vielmehr auf die Gründe, weshalb die Firma die Beiträge nicht korrekt bezahlt hat. Diesbezüglich aber ist nichts ersichtlich, was zu Gunsten des Beschwerdeführers spräche: Konkrete, energische Massnahmen, mit welchen er schon vor Mai 1998 versucht hätte, die Ausstände so rasch wie möglich zu begleichen, sind nicht nachgewiesen. Der abendliche Besuch beim Geschäftsführer genügt nicht. Auch fehlen ausreichende Anhaltspunkte dafür, dass die Firma durch vorübergehendes Zurückbehalten der Beiträge zu retten gewesen wäre. Der Beschwerdeführer hat sich somit zu passiv verhalten (ZAK 1989 S. 104) und vermag keine Exkulpationsgründe nachzuweisen, weshalb er grobfahrlässig im Sinne von Art. 52 AHVG gehandelt hat.
4.- Da die Verwaltungsgerichtsbeschwerde offensichtlich unbegründet ist, wird sie im Verfahren nach Art. 36a OG erledigt.

Demnach erkennt das Eidg. Versicherungsgericht:
I. Die Verwaltungsgerichtsbeschwerde wird abgewiesen,
soweit darauf einzutreten ist.
II. Die Gerichtskosten von total Fr. 1000.- werden dem Beschwerdeführer auferlegt und mit dem geleisteten Kostenvorschuss verrechnet.
III. Dieser Entscheid wird den Parteien, dem Obergericht des Kantons Schaffhausen und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 18. Juli 2001
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der IV. Kammer:
Der Gerichtsschreiber: