Sachverhalt: A. Der 1957 geborene IV-Rentner A._ wohnt seit 1994 in M._. Am 28. Mai 2010 heiratete er dort seine Partnerin Felicitas Zurbriggen. Am 31. Oktober 2010 meldete er sich schriftenpolizeilich nach Thailand ab; seine Gattin beliess ihre Schriften demgegenüber in der Schweiz, da sie hier einer Erwerbstätigkeit nachgeht. Die Gemeinde M._ beantragte daraufhin bei der kantonalen Steuerverwaltung die Festlegung des Steuerdomizils von A._ in M._; sie begründete dies damit, dass lediglich eine "Scheinabmeldung" vorliege, welche einzig bezwecke, die Besteuerung der IV-Rente zu verhindern. Mit Entscheid vom 4. November 2011 hiess die kantonale Steuerverwaltung den Antrag der Gemeinde teilweise gut und legte das Hauptsteuerdomizil von A._ bis 31. Dezember 2010 in M._ und ab 1. Januar 2011 in Thailand fest. B. Hiergegen erhob die Gemeinde Einsprache, da sie der Auffassung war, A._ habe sein Hauptsteuerdomizil auch weiterhin in der Schweiz. Mit Entscheid vom 11. Mai 2012 hiess die kantonale Steuerverwaltung die Einsprache gut und legte das Hauptsteuerdomizil von A._ in M._ fest. Eine dagegen gerichtete Beschwerde von A._ wies die Steuerrekurskommission des Kantons Wallis mit Urteil vom 21. November 2012 ab. C. Mit Eingabe vom 10. September 2013 führt A._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht und beantragt im Wesentlichen die Aufhebung des angefochtenen Entscheids. Die Steuerverwaltung und die Steuerrekurskommission des Kantons Wallis schliessen auf Abweisung der Beschwerde. Die Eidgenössische Steuerverwaltung (ESTV) beantragt betreffend die direkte Bundessteuer ebenfalls die Abweisung der Beschwerde, betreffend Kantons- und Gemeindesteuern verzichtet die ESTV auf einen Antrag. Mit Eingabe vom 6. Dezember 2013 nimmt A._ zu den eingegangenen Vernehmlassungen Stellung.