Sachverhalt: A. X._ und Y._ erhoben beim Verwaltungsgericht des Kantons Nidwalden Ende Oktober 2008 Beschwerde gegen einen Einspracheentscheid der kantonalen Steuerverwaltung. Sie bezahlten in der Folge den Gerichtskostenvorschuss nicht innert der dafür angesetzten Frist. Das Verwaltungsgericht trat aus diesen Gründen am 3. Dezember 2008 auf die Beschwerde nicht ein. B. X._ und Y._ beantragen dem Bundesgericht mit Beschwerde in öffentlich-rechtlichen Angelegenheiten, den Nichteintretensentscheid des Verwaltungsgerichts aufzuheben und die Sache zur materiellen Beurteilung an diese Instanz zurückzuweisen. Das Verwaltungsgericht ersucht um Abweisung der Beschwerde, soweit darauf einzutreten sei. Das kantonale Steueramt und die Eidgenössische Steuerverwaltung beantragen sinngemäss die Abweisung des Rechtsmittels. C. Der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts hat am 16. März 2009 das Gesuch der Beschwerdeführer um aufschiebende Wirkung abgewiesen.