Sachverhalt: A. Die Eidgenössische Invalidenversicherung, IV-Stelle Bern, sprach X._ mit Verfügung vom 24. März 2006 rückwirkend auf den 1. Mai 2003 eine ganze Invalidenrente zu. Mit Verfügung vom 6. Oktober 2006 sprach die Stiftung Auffangeinrichtung BVG, Zweigstelle Deutschschweiz, X._ zusätzlich eine ganze Invalidenrente sowie zwei Kinderrenten aus beruflicher Vorsorge zu, welche ebenfalls ab dem 1. Mai 2003 zu laufen begann. Die beiden Verfügungen führten im Jahre 2006 zu einer Rentennachzahlung von insgesamt Fr. 127'455.--, welche direkt an die Sozialdirektion Burgdorf überwiesen wurde. Letztere saldierte das für X._ geführte Sozialhilfekonto und überwies X._ den Überschuss von Fr. 3'466.55. B. Am 10. Juli 2007 wurde X._ von der Steuerverwaltung des Kantons Bern, Kreis Emmental-Oberaargau, für die Staats- und Gemeindesteuern 2006 mit einem steuerbaren Einkommen von Fr. 107'395.-- (satzbestimmendes Einkommen Fr. 13'992.--) und für die direkte Bundessteuer 2006 mit einem solchen von Fr. 115'245.-- (satzbestimmendes Einkommen Fr. 22'692.--) eingeschätzt. Die gegen diese Veranlagung erhobene Einsprache wies die Steuerverwaltung des Kantons Bern mit Entscheid vom 10. Juni 2008 ab. Vorgängig hatte sie X._ mit Schreiben vom 8. April 2008 mitgeteilt, die Rentenzahlungen würden in dem Jahr besteuert, in dem sie ausbezahlt wurden. Rückzahlungen an die Sozialdirektion könnten nicht abgezogen werden. Das Steuererlassverfahren bleibe vorbehalten. Den gegen den Einspracheentscheid erhobenen Rekurs (bzw. die Beschwerde) hiess die Steuerrekurskommission des Kantons Bern mit Entscheid vom 18. August 2009 teilweise gut. Sie setzte das steuerbare Einkommen für die Staats- und Gemeindesteuern auf Fr. 97'870.-- (satzbestimmend Fr. 4'317.--) und für die direkte Bundessteuer auf Fr. 105'720.-- (satzbestimmend Fr. 13'167.--) fest. Die Abweichung zum Einspracheentscheid ergab sich durch einen Abzug für Alimente/Unterhaltsbeiträge. Die gegen diesen Entscheid erhobene Verwaltungsgerichtsbeschwerde wies das Verwaltungsgericht des Kantons Bern, Verwaltungsrechtliche Abteilung, mit Urteil vom 16. Februar 2010 betreffend die Staats- und Gemeindesteuer ab (Dispositiv Ziff. 1). Betreffend die direkte Bundessteuer erfolgte die Abweisung, soweit auf die Beschwerde einzutreten war (Ziff. 2). Die Kosten des Verfahrens von Fr. 2'500.-- wurden dem Beschwerdeführer auferlegt, wobei sie vorerst - infolge Gutheissung des Gesuchs um unentgeltliche Prozessführung (Ziff. 3) - vom Kanton getragen werden, unter Vorbehalt der Nachzahlungspflicht (Ziff. 4). Der beigeordnete Rechtsbeistand wurde - ebenso unter Vorbehalt der Nachzahlungspflicht - aus der Gerichtskasse entschädigt (Ziff. 5). C. Mit Eingabe vom 22. März 2010 erhebt X._ beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, Ziff. 1 und 4 des Urteils des Verwaltungsgerichts aufzuheben und die vom Beschwerdeführer im Jahr 2006 geleisteten Rückzahlungen an den Sozialdienst Burgdorf bei den Kantons- und Gemeindesteuern vollumfänglich vom Einkommen abzuziehen und folglich nicht zu besteuern. Im Weiteren wird für das Verfahren vor Bundesgericht um unentgeltliche Rechtspflege und Verbeiständung ersucht. Das Verwaltungsgericht des Kantons Bern, die Steuerverwaltung des Kantons Bern sowie die Eidgenössische Steuerverwaltung beantragen die Abweisung der Beschwerde.