Sachverhalt: A. Die Kantonale Baukommission des Kantons Wallis (KBK/VS) erteilte A._ am 21. Juni 2012 die Bewilligung zum Umbau der bestehenden Alphütte in "Grifeleggini" auf dem Gebiet der Gemeinde Oberems. Diese Baubewilligung ist in Rechtskraft erwachsen. Mit Schreiben vom 16. August 2012 teilte A._ der KBK/VS mit, dass es am 31. Juli 2012 bei den Umbauarbeiten zu einem Zwischenfall gekommen sei. Aufgrund einer Unachtsamkeit des Baggerführers sei die Alphütte teilweise eingestürzt. Er habe sich in der Folge entschieden, die Hütte fachmännisch zu demontieren. Sämtliche Teile der einzelnen Wände seien vorgängig nummeriert und farblich gekennzeichnet worden, wodurch der Wiederaufbau problemlos möglich sei. Mit Entscheid vom 3. September 2012 (vorgängig angekündigt per E-Mail vom 27. August 2012) widerrief die KBK/VS die Baubewilligung vom 21. Juni 2012 und forderte A._ auf, bis zum 30. Juli 2013 den rechtmässigen Zustand wiederherzustellen, "indem er die Überreste des Gebäudes entfernt, das Gelände wieder so herstellt, dass es dem natürlichen Geländeverlauf entspricht und die Pflanzendecke wieder herstellt". Diesen Entscheid focht A._, vertreten durch Rechtsanwalt David Gruber, mit Beschwerde vom 25. September 2012 beim Staatsrat des Kantons Wallis an und beantragte die Aufhebung des Entscheids der KBK/VS vom 3. September 2012 und die Zusprechung einer angemessenen Parteientschädigung. Mit Entscheid vom 5. März 2014 hiess der Staatsrat die Beschwerde gut und hob den Widerruf der Baubewilligung und die Wiederherstellungsverfügung der KBK/VS vom 3. September 2012 auf. Der Staatsrat sprach A._ zu Lasten der KBK/VS eine Parteientschädigung von insgesamt Fr. 600.-- zu. Am 4. April 2014 erhob A._ Verwaltungsgerichtsbeschwerde an das Kantonsgericht Wallis und beantragte, es sei ihm in Abänderung des Entscheid des Staatsrats vom 5. März 2014 eine Parteientschädigung von Fr. 2'831.70 für das vorinstanzliche Verfahren zuzusprechen. Mit Urteil vom 5. Dezember 2014 wies das Kantonsgericht die Beschwerde von A._ ab. B. Mit Eingabe vom 23. Januar 2015 führt A._ Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht. Er beantragt, das Urteil des Kantonsgerichts sei aufzuheben und die Angelegenheit sei im Sinne der Erwägungen des Bundesgerichts zur Neubeurteilung an das Kantonsgericht zurückzuweisen. Das Kantonsgericht und der Staatsrat beantragen die Beschwerdeabweisung. Die KBK/VS verzichtet auf eine Stellungnahme.