Sachverhalt:
A. Y._ und X._ ersuchten die Steuerverwaltung des Kantons Bern am 10. August 2009 um Erlass der am 14. April 2009 rechtskräftig veranlagten Kantons- und Gemeindesteuern sowie der direkten Bundessteuern für das Steuerjahr 2007. Mit Verfügungen, die vom 3. Dezember 2009 datiert waren, aber dem Ehepaar Y._ und X._ bereits am 30. November 2009 zugingen, wies die Steuerverwaltung die Erlassgesuche ab.
B. Mit Schreiben, das vom 29. Dezember 2009 datiert ist, aber erst am 4. Januar 2010 der Post übergeben wurde, erhoben Y._ und X._ Rekurs bzw. Beschwerde bei der Steuerrekurskommission des Kantons Bern. Diese trat mit Entscheid vom 5. Februar 2010 auf die Rechtsmittel wegen Fristversäumnisses nicht ein, wies das Gesuch um unentgeltliche Rechtspflege ab und auferlegte Y._ und X._ Verfahrenskosten von Fr. 300.--.
C. Y._ und X._ erhoben dagegen Beschwerde an das Verwaltungsgericht des Kantons Bern, welches diese mit Urteil vom 12. April 2011 abwies. Es erhob keine Verfahrenskosten, sprach keine Parteientschädigung zu und schrieb das Gesuch um unentgeltliche Prozessführung als gegenstandslos ab.
D. Y._ und X._ erheben subsidiäre Verfassungsbeschwerde und beantragen im Wesentlichen, das Urteil des Verwaltungsgerichts sei aufzuheben und die Sache an die Vorinstanz zurückzuweisen. Zudem stellen sie eine Anzahl weiterer Anträge sowie ein Gesuch um unentgeltliche Rechtspflege.
E. Die Steuerverwaltung und das Verwaltungsgericht des Kantons Bern schliessen auf Abweisung der Beschwerde.
F. Y._ und X._ haben sich mit Eingabe vom 12. Juli 2011 nochmals zur Sache geäussert.

Erwägungen:
1. Gegen letztinstanzliche kantonale Entscheide über den Erlass von Abgaben ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten nicht zulässig (<ref-law>), wohl aber die subsidiäre Verfassungsbeschwerde (<ref-law>). Das gilt entgegen der Rechtsmittelbelehrung der Vorinstanz grundsätzlich auch in Bezug auf die direkte Bundessteuer; ausgeschlossen ist nur die Willkürrüge, weil auf den Erlass der direkten Bundessteuer kein Rechtsanspruch besteht (<ref-law>; Urteile 2D_7/2008 vom 1. Juli 2008 E. 1 in StR 63/2008 S. 653, 2D_138/2007 vom 21. Februar 2008 in StR 63/2008 S. 380 E. 2.2, je mit etwas missverständlicher Formulierung). Andere Verfassungsrügen, namentlich solche verfahrensrechtlicher Natur, sind hingegen zulässig (zit. Urteil 2D_7/2008 E. 2).
2. Die subsidiäre Verfassungsbeschwerde ist nur zulässig wegen Verletzung verfassungsmässiger Rechte (<ref-law>). Eine solche Rüge muss in der Beschwerdeschrift vorgebracht und begründet werden (Art. 106 Abs. 2 in Verbindung mit <ref-law>). Die eingereichte weitschweifige Beschwerdeschrift genügt diesen Anforderungen über weite Teile nicht. Soweit sie diese Anforderungen erfüllt, ist sie unbegründet, wie aus dem Folgenden hervorgeht.
3. Materieller Hauptpunkt der Beschwerde ist, dass die Frist bei der Rekurskommission aufgrund des Vertrauensschutzes eingehalten sei.
3.1 Es ist unbestritten, dass die Erlassverfügungen den Beschwerdeführern am 30. November 2009 zugingen und dass sie eine Rechtsmittelbelehrung enthielten, wonach das Rechtsmittel innert 30 Tagen "seit der Eröffnung" eingelegt werden könne. Die am 4. Januar 2010 eingereichten Rechtsmittel waren demnach verspätet. Dass die Verfügungen das Datum des 3. Dezembers trugen, ändert daran nichts. Die Beschwerdeführer machen aber unter Berufung auf Treu und Glauben geltend, sie hätten auf eine am 28. Dezember 2009 eingeholte Auskunft der Steuerrekurskommission vertraut, wonach die Rechtsmittelfrist erst nach dem 3. Dezember zu laufen beginne.
3.2 Die Vorinstanz hat dazu erwogen, die Beschwerdeführer hätten wahrscheinlich gegenüber der Auskunftsperson nicht dargelegt, dass die Verfügungen bereits am 30. November 2009 zugestellt wurden. Das ist eine Sachverhaltsfeststellung, welche das Bundesgericht bindet, da sie nicht offensichtlich unrichtig ist (<ref-law>). Die Vorinstanz durfte auch ohne Willkür auf die Anhörung der Auskunftsperson als Zeugin verzichten, denn nach allgemeiner Lebenserfahrung ist nicht davon auszugehen, dass sich jemand nach mehr als einem Jahr noch an die Details von Telefongesprächen erinnert. Zudem wird die Sachverhaltsfeststellung der Vorinstanz durch die Darstellung der Beschwerdeführer bekräftigt, wonach die Auskunftsperson gesagt habe: "Nehmen Sie den 3. Dezember; die Steuerverwaltung macht das immer so". Damit ging die Auskunftsperson offensichtlich davon aus, dass auch in diesem Fall die Verfügungen am 3. Dezember versandt wurden.
3.3 Bei dieser sachverhaltlichen Lage hat die Vorinstanz mit Recht den Anspruch auf Vertrauensschutz verneint; denn dieser besteht nur, soweit die amtliche Auskunft aufgrund eines korrekt und vollständig dargelegten Sachverhalts erging. Wenn die Beschwerdeführer der Auskunftsperson nicht darlegten, dass die Verfügungen bereits am 30. November empfangen worden waren, können sie sich auf die auf einer anderen sachverhaltlichen Lage beruhende Auskunft nicht berufen.
4. Die übrigen Rügen sind offensichtlich unbegründet, soweit sie überhaupt rechtsgenüglich vorgetragen werden. Es kann dazu summarisch auf die sehr ausführliche vorinstanzliche Begründung verwiesen werden (Art. 109 Abs. 3 in Verbindung mit <ref-law>). Das betrifft insbesondere die Rügen betreffend Anspruch auf öffentliche Verhandlung gemäss Art. 6 EMRK, da diese Bestimmung auf Steuersachen nicht anwendbar ist (<ref-ruling> E. 2.1 S. 145 f.; JENS MEYER-LADEWIG, EMRK Handkommentar, 3. Aufl., 2011, Art. 6 Rz. 18), sowie die Rügen betreffend Ausstand. Namentlich ist auch das Ausstandsbegehren gegen die urteilende Einzelrichterin des Verwaltungsgerichts unbegründet, da sich eine Befangenheit nicht schon daraus ergeben kann, dass das Gericht einen Entscheid fällt, welcher einer Partei nicht behagt, und auch nicht daraus, dass es dabei Rechtsregeln anwendet, die sich im Ergebnis gleichermassen zugunsten der Verwaltung wie der Gerichte auswirken können.
5. Die Beschwerde erweist sich damit als offensichtlich unbegründet, soweit darauf einzutreten ist. Bei diesem Ausgang tragen die Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens unter Solidarhaft (Art. 66 Abs. 1 und 5, <ref-law>). Das Gesuch um unentgeltliche Rechtspflege ist wegen Aussichtslosigkeit der Beschwerde abzuweisen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die subsidiäre Verfassungsbeschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3. Die Gerichtskosten von Fr. 1'000.-- werden den Beschwerdeführern unter Solidarhaft auferlegt.
4. Dieses Urteil wird den Beschwerdeführern, der Steuerverwaltung und dem Verwaltungsgericht des Kantons Bern, Verwaltungsrechtliche Abteilung, Einzelrichterin, schriftlich mitgeteilt.
Lausanne, 26. Juli 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Uebersax