Sachverhalt: A. Y._ und X._ ersuchten die Steuerverwaltung des Kantons Bern am 10. August 2009 um Erlass der am 14. April 2009 rechtskräftig veranlagten Kantons- und Gemeindesteuern sowie der direkten Bundessteuern für das Steuerjahr 2007. Mit Verfügungen, die vom 3. Dezember 2009 datiert waren, aber dem Ehepaar Y._ und X._ bereits am 30. November 2009 zugingen, wies die Steuerverwaltung die Erlassgesuche ab. B. Mit Schreiben, das vom 29. Dezember 2009 datiert ist, aber erst am 4. Januar 2010 der Post übergeben wurde, erhoben Y._ und X._ Rekurs bzw. Beschwerde bei der Steuerrekurskommission des Kantons Bern. Diese trat mit Entscheid vom 5. Februar 2010 auf die Rechtsmittel wegen Fristversäumnisses nicht ein, wies das Gesuch um unentgeltliche Rechtspflege ab und auferlegte Y._ und X._ Verfahrenskosten von Fr. 300.--. C. Y._ und X._ erhoben dagegen Beschwerde an das Verwaltungsgericht des Kantons Bern, welches diese mit Urteil vom 12. April 2011 abwies. Es erhob keine Verfahrenskosten, sprach keine Parteientschädigung zu und schrieb das Gesuch um unentgeltliche Prozessführung als gegenstandslos ab. D. Y._ und X._ erheben subsidiäre Verfassungsbeschwerde und beantragen im Wesentlichen, das Urteil des Verwaltungsgerichts sei aufzuheben und die Sache an die Vorinstanz zurückzuweisen. Zudem stellen sie eine Anzahl weiterer Anträge sowie ein Gesuch um unentgeltliche Rechtspflege. E. Die Steuerverwaltung und das Verwaltungsgericht des Kantons Bern schliessen auf Abweisung der Beschwerde. F. Y._ und X._ haben sich mit Eingabe vom 12. Juli 2011 nochmals zur Sache geäussert.