Erwägungen:
1. Mit Eingabe vom 19. März 2010 beschwerten sich X._ und Y._ beim Verwaltungsgericht von Appenzell-Ausserrhoden gegen einen Einspracheentscheid der kantonalen Steuerverwaltung betreffend die Staats- und Gemeindesteuern für das Jahr 2007.
Am 22. März 2010 forderte das Verwaltungsgericht X._ und Y._ auf, innert zehn Tagen einen Kostenvorschuss zu leisten. Dieses Schreiben wurde X._ und Y._ am 23. März 2010 zugestellt. Der Kostenvorschuss ging beim Gericht erst am 8. April 2010 ein.
Mit Entscheid vom 6. Mai 2010 befand das Verwaltungsgericht, die Leistung des Kostenvorschusses sei verspätet erfolgt, weswegen auf die Beschwerde von X._ und Y._ nicht eingetreten werde.
2. Mit Eingabe vom 8. Juni 2010 führen X._ und Y._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht. Sie stellen den Antrag, der Entscheid des Verwaltungsgerichts vom 6. Mai 2010 sei aufzuheben und es sei auf die Beschwerde vom 19. März 2010 einzutreten. Sie machen geltend, die Aufforderung des Verwaltungsgerichts zur Leistung des Kostenvorschusses habe weder einen Hinweis darauf enthalten, dass der in Art. 7 lit. a des kantonalen Gesetzes vom 9. September 2002 über die Verwaltungsrechtspflege (VRPG/AR) vorgesehene Fristenstillstand während sieben Tagen vor und nach Ostern nicht anwendbar sei, noch sei darauf aufmerksam gemacht worden, dass für die Fristwahrung der Zeitpunkt des Zahlungseingangs beim Gericht massgeblich sei. Das Vorgehen des Verwaltungsgerichts erscheine daher als überspitzter Formalismus und verletze Art. 29 Abs. 1 BV: Die Vorinstanz hätte ihnen vielmehr eine Nachfrist ansetzen müssen, wie dies auch von Art. 63 Abs. 3 BGG [recte: Art. 62 Abs. 3 BGG] vorgesehen sei.
3. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist offensichtlich unbegründet und daher im vereinfachten Verfahren mit summarischer Begründung abzuweisen (Art. 109 BGG):
Das Verwaltungsgericht hat die Beschwerdeführer in seinem Schreiben vom 22. März 2010 darauf aufmerksam gemacht, dass der Kostenvorschuss in Höhe von Fr. 600.-- innert zehn Tagen geleistet werden müsse, ansonsten auf die Beschwerde nicht eingetreten werde. Hinweise darauf, dass diese Frist während sieben Tagen vor und nach Ostern stillstehen würde, konnten und durften diesem Schreiben nicht entnommen werden. Wenn die Beschwerdeführer daraufhin selbständig das kantonale Verwaltungsrechtspflegegesetz konsultierten und aus Art. 7 lit. a VRPG/AR das Bestehen eines solchen Friststillstandes herleiteten, so hätten sie auch erkennen müssen, dass diese Bestimmung einen ausdrücklichen Vorbehalt zugunsten besonderer Vorschriften enthält. Es wäre somit in ihrer Verantwortung gewesen, sich zu informieren, ob in ihrem Fall eine solche abweichende Regelung zur Anwendung kommt. Dies hätte entweder durch eine Nachfrage beim Verwaltungsgericht oder durch eine Konsultation der kantonalen Steuergesetzgebung geschehen können. Letzteres wäre den Beschwerdeführern insbesondere deshalb zuzumuten gewesen, weil sie in der Rechtsmittelbelehrung des angefochtenen Einspracheentscheids der kantonalen Steuerverwaltung explizit auf den Wortlaut von Art. 188 Abs. 5 des kantonales Steuergesetzes vom 21. Mai 2000 (StG/AR) aufmerksam gemacht wurden, wonach die Gerichtsferien gemäss Art. 7 VRPG/AR im Steuerverfahren keine Geltung haben.
Zwar trifft es zu, dass das Schreiben des Verwaltungsgerichts vom 22. März 2010 keinen Hinweis darauf enthielt, dass für die Fristwahrung der Zeitpunkt des Zahlungseingangs beim Gericht massgeblich ist. Daraus vermögen die Beschwerdeführer jedoch nichts zu ihren Gunsten abzuleiten: Das Verwaltungsgericht stellte fest, dass die Zahlungsfrist am Freitag, 2. April 2010 (Karfreitag) abgelaufen sei. In Nachachtung von Art. 5 Abs. 1 VRPG/AR dürfte das Fristende indessen auf den Dienstag, 6. April 2010 fallen. Die Beschwerdeführer haben den Zahlungsauftrag an die Appenzeller Kantonalbank zwar am 6. April 2010 erteilt, als Ausführungsdatum haben sie aber erst den 7. April 2010 bestimmt. Die Leistung des Kostenvorschusses erweist sich somit unabhängig davon als verspätet, ob der Zeitpunkt der Zahlungsausführung oder jener des Zahlungseingangs beim Gericht für die Fristwahrung als massgeblich erachtet wird.
Nach dem Ausgeführten steht fest, dass das Verwaltungsgericht die Beschwerdeführer über die Höhe des Vorschusses, die Zahlungsfrist und die Säumnisfolgen rechtsgenüglich informiert hat. Bei dieser Sachlage stellt das Nichteintreten auf eine Beschwerde mangels rechtzeitiger Leistung des Kostenvorschusses gemäss der bundesgerichtlichen Rechtsprechung keinen überspitzten Formalismus dar (Urteil 8C_953/2009 vom 23. Februar 2010 E. 5.2.3, mit Hinweisen). Insbesondere sind die Kantone auch nicht verpflichtet, die (ausschliesslich) für das bundesgerichtliche Verfahren geltende Bestimmung von Art. 62 Abs. 3 BGG ins kantonale Verfahrensrecht zu übernehmen und eine analoge Regelung zu statuieren (Urteil 9C_715/2007 vom 17. Juni 2008 E. 6.3.2).
4. Entsprechend dem Ausgang des Verfahrens tragen die Beschwerdeführer die bundesgerichtlichen Kosten unter solidarischer Haftung (Art. 66 Abs. 1 und Abs. 5 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 1'000.-- werden den Beschwerdeführern unter solidarischer Haftung auferlegt.
3. Dieses Urteil wird den Beschwerdeführern sowie der Steuerverwaltung und dem Verwaltungsgericht des Kantons Appenzell Ausserrhoden schriftlich mitgeteilt.
Lausanne, 4. November 2010
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Zähndler