Sachverhalt: A. A._ war für die Steuerperioden 2008 bis 2011 im Kanton Freiburg steuerpflichtig. Für die Kantonssteuer 2011 wurden ihm am 8. April 2011 neun Anzahlungen von total Fr. 7'144.65 in Rechnung gestellt, zahlbar in neun monatlichen Raten ab Mai 2011 bis Januar 2012, von je Fr. 793.85. Erleistete Einzahlungen von Fr. 8'044.65 an die Kantonssteuer 2011. Die getätigten Zahlungen erfolgten mit Einzahlungsscheinen, welche mit der Referenznummer für die Steuerperiode 2008 versehen waren. Dies löste mehrere Rückerstattungen an ihn aus. B. Mit Einspracheentscheid vom 7. September 2012 hielt die kantonale Steuerverwaltung fest, A._ habe, unter Berücksichtigung der Rückerstattungen, für die Steuerperiode 2011 Anzahlungen im Umfang von Fr. 2'275.40 verspätet geleistet, weshalb dafür ein Verzugszins von Fr. 81.40 geschuldet sei. Nicht eingetreten werde auf eine Anfechtung des Verzugs- und Ausgleichszinses auf den Abrechnungen der Steuerperioden 2009 und 2010, weil diese in Rechtskraft erwachsen seien. Das Kantonsgericht des Kantons Freiburg wies eine dagegen gerichtete Beschwerde von A._ mit Urteil vom 10. Februar 2014 ab, soweit es darauf eintrat, und bestätigte den angefochtenen Einspracheentscheid. C. Mit Beschwerde an das Bundesgericht vom 8. März 2014 beantragt A._, das Urteil des Kantonsgerichts Freiburg vom 10. Februar 2014 sei aufzuheben, und der diesbezügliche Sachverhalt durch das Bundesgericht zu untersuchen und neu zu beurteilen. Die erhobenen Verzugs- und Ausgleichszahlungen im Umfang von Fr. 509.35 seien unzulässig und zurückzuerstatten. Das Kantonsgericht habe auf die nicht untersuchten Beschwerdebegehren einzutreten und diese zu beurteilen. Die Vorinstanz und (verspätet) die kantonale Steuerverwaltung schliessen auf kostenfällige Abweisung der Beschwerde. Die Eidgenössische Steuerverwaltung ESTV hat auf eine Vernehmlassung mangels fehlender harmonisierungsrechtlicher Relevanz verzichtet.