<ref-law> (Beendigung des Dienstverhältnisses), hat sich ergeben:
A.- X._ wurde am 6. Februar 1990 vom Gemeinderat zum Finanzverwalter der Munizipalgemeinde Visp gewählt. Gemäss Schreiben vom 12. Februar 1990 erfolgte die Wahl zu den Bedingungen des Reglements betreffend das Dienstverhältnis der Angestellten der Gemeinde Visp vom 4. Februar 1980.
Am 21. Januar 1997 wurde er für die Verwaltungsperiode 1997-2000 in seinem Amt bestätigt. Mit Brief vom 28. Juli 1998 kündigte der Gemeinderat unter Berufung auf Art. 51 des genannten Reglements das Dienstverhältnis von X._ per 31. Januar 1999. Gegen diese Kündigung führte X._ Beschwerde beim Staatsrat des Kantons Wallis, die am 4. März 1999 gutgeheissen wurde. Der Staatsrat erwog, X._ sei als Beamter für eine feste Amtsdauer angestellt gewesen.
Während letzterer sei eine ordentliche Kündigung daher nicht zulässig. Gegen diesen Beschwerdeentscheid führte die Munizipalgemeinde Visp Verwaltungsgerichtsbeschwerde beim Kantonsgericht des Kantons Wallis, die am 13. Januar 2000 gutgeheissen wurde. Das Kantonsgericht erwog, die Gemeinde Visp habe X._ gemäss ihrem Angestelltenreglement angestellt, und sie habe ihn auch wieder gemäss diesem Reglement entlassen dürfen. Der Staatsrat habe daher in die Autonomie der Gemeinde eingegriffen, als er ihr die Anwendung dieses Reglements aus allgemeinen Überlegungen zum Begriff des Beamten verwehrt habe.
B.- X._ führt gegen das Urteil des Kantonsgerichts vom 13. Januar 2000 staatsrechtliche Beschwerde und beantragt die Aufhebung dieses Urteils und der Kündigung der Gemeinde Visp. Zur Begründung macht er geltend, er sei als Beamter für eine feste Amtsperiode gewählt worden und könne daher während dieser nicht gemäss dem Reglement betreffend Angestellte entlassen werden. Jedenfalls verstiesse ein solches Vorgehen gegen Treu und Glauben.
Die Munizipalgemeinde Visp beantragt, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Der Staatsrat und das Kantonsgericht verzichten auf eine Stellungnahme, wobei letzteres unter Hinweis auf seinen Entscheid eine Abweisung der Beschwerde beantragt. In einem zweiten Schriftenwechsel halten X._ und die Munizipalgemeinde an ihren Anträgen fest.

Das Bundesgericht zieht in Erwägung:
1.- a) Der Beschwerdeführer ist nur zur staatsrechtlichen Beschwerde legitimiert, wenn er ein rechtlich geschütztes Interesse an der Aufhebung des angefochtenen Entscheids hat (Art. 88 OG). Ob diese Bedingung erfüllt ist, muss auf Grund der Rechtsposition beurteilt werden, auf die er sich beruft. Ob diese Rechtsposition zu Recht angerufen wird, ist im Sachurteil zu entscheiden.
Der Beschwerdeführer macht geltend, er könne auf Grund allgemeiner Grundsätze des Beamtenrechts als Beamter während der Amtsperiode, für die er gewählt worden sei, nur aus wichtigen Gründen entlassen werden. Wenn dies zutrifft, hat er ein rechtlich geschütztes Interesse daran, nicht durch ordentliche Kündigung während der Amtsperiode entlassen zu werden. Da der angefochtene Entscheid eine solche Kündigung schützt, ist der Beschwerdeführer legitimiert, ihn mit staatsrechtlicher Beschwerde anzufechten.
b) Die staatsrechtliche Beschwerde kann sich, abgesehen von hier nicht zutreffenden Ausnahmen, nur gegen letztinstanzliche Entscheide richten (vgl. Art. 86 und 87 OG; <ref-ruling> E. 1a/aa mit Hinweisen). Auf den Antrag des Beschwerdeführers, die Kündigung der Gemeinde Visp aufzuheben, kann daher nicht eingetreten werden.
c) Das staatsrechtliche Beschwerdeverfahren führt nicht das vorangegangene kantonale Verfahren weiter, sondern es stellt ein selbständiges staatsgerichtliches Verfahren dar, das der Kontrolle kantonaler Hoheitsakte unter dem spezifischen Aspekt ihrer Verfassungsmässigkeit dient. Daher prüft das Bundesgericht nur klar und detailliert erhobene Rügen (<ref-ruling> E. 1b S. 495 mit Hinweisen). Zur rechtlichen Substanziierung seiner Beschwerde hat der Beschwerdeführer gemäss Art. 90 Abs. 1 lit. b OG nicht nur die als verletzt behaupteten Rechtssätze zu nennen, sondern auch darzulegen, inwiefern diese Rechtssätze bzw. Rechte durch den angefochtenen Entscheid verletzt sein sollen (<ref-ruling> E. 4c S. 230; <ref-ruling> E. 1c S. 395 mit Hinweisen).
Die Beschwerdebegründung muss sich mit dem angefochtenen Entscheid auseinander setzen und nicht bloss das Verhalten unterer kantonaler Instanzen kritisieren. Insbesondere bei Beschwerden wegen Verletzung von <ref-law> muss wegen dessen weitem Schutzbereich im Einzelnen dargelegt werden, worin die behauptete Verfassungsverletzung liegt. Bloss appellatorische Kritik am angefochtenen Entscheid ist im Verfahren der staatsrechtlichen Beschwerde unzulässig (<ref-ruling> E. 1b S. 495; <ref-ruling> E. b; <ref-ruling> E. 4c S. 230).
Für die Frage, ob die Beschwerde den Anforderungen von Art. 90 Abs. 1 lit. b OG entspricht, ist die Beschwerdeschrift massgebend, da innert Beschwerdefrist Versäumtes nicht im zweiten Schriftenwechsel nachgeholt werden kann (<ref-ruling> E. 1c S. 308 mit Hinweisen). Im Weiteren kann nur auf Rügen eingetreten werden, die in der Beschwerdeschrift selber enthalten sind (<ref-ruling> E. 4a S. 30 mit Hinweis). In der Beschwerde wird nicht ausdrücklich ein verfassungsmässiges Recht erwähnt und nicht dargelegt, inwiefern dieses durch den angefochtenen Entscheid verletzt sein sollte. Immerhin lässt sich die Beschwerde so verstehen, dass geltend gemacht wird, der angefochtene Entscheid sei willkürlich und verletze den Anspruch auf staatliches Handeln nach Treu und Glauben. Damit wird sinngemäss eine Verletzung von Art. 9 der seit dem 1. Januar 2000 gültigen BV vom 18. April 1999 geltend gemacht (Die vom Beschwerdeführer in seiner Replik erwähnte aBV vom 29. Mai 1874 war am 13. Januar 2000, als das angefochtene Urteil erging, nicht mehr in Kraft). Diese Rügen werden, neben ausführlicher appellatorischer und daher unbeachtlicher Kritik in der Beschwerde und ihren Beilagen, damit begründet, dass der Beschwerdeführer, da er für die Amtsperiode 1997-2000 gewählt worden sei, nicht gemäss dem Angestelltenreglement der Gemeinde Visp vom 4. Februar 1980 entlassen werden dürfe. Mit keinem Wort wird erläutert, warum die gegenteilige Auffassung des Kantonsgericht trotz der Autonomie einer Gemeinde bei der Auslegung ihres Rechts in einem Bereich, in dem sie Autonomie geniesst, willkürlich sei (vgl. zum Begriff der Willkür hinten E. 2a). Letztlich kann offen bleiben, ob trotzdem auf die Beschwerde eingetreten werden kann, da sie, wie im Folgenden zu zeigen ist, jedenfalls unbegründet ist.
2.- Soweit der Beschwerdeführer geltend macht, er könne angesichts seiner Wahl für eine Amtsperiode nicht gemäss dem Angestelltenreglement während dieser Periode entlassen werden, rügt er entgegen der Auffassung der Gemeinde keine Sachverhaltsfeststellung, sondern eine willkürliche Auslegung von Rechtssätzen. Im Übrigen könnte die staatsrechtliche Beschwerde auch dazu dienen, geltend zu machen, in einem kantonalen Hoheitsakt sei der Sachverhalt willkürlich festgestellt worden.
a) Willkürlich ist ein Entscheid nicht schon dann, wenn eine andere Lösung ebenfalls vertretbar erscheint oder gar vorzuziehen wäre, sondern erst dann, wenn er offensichtlich unhaltbar ist, zur tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Willkür liegt sodann nur vor, wenn nicht bloss die Begründung eines Entscheides, sondern auch das Ergebnis unhaltbar ist (vgl.
BGE 125 I 166 E. 2a S. 168; <ref-ruling> E. 4a S. 5, je mit Hinweisen).
b) Dem Beschwerdeführer wurde mit Schreiben vom 12. Februar 1990 mitgeteilt, dass er "zu den Bedingungen des Reglements betreffend das Dienstverhältnis der Angestellten der Gemeinde Visp vom 4. Februar 1980" zum Finanzverwalter gewählt werde. Nach Art. 2 dieses Reglements werden Angestellte zunächst auf Probe, dann provisorisch und schliesslich "definitiv für die Dauer der laufenden Amtsperiode, die vier Jahre beträgt", gewählt. Der Beschwerdeführer wurde spätestens für die Amtsperiode 1997-2000 definitiv gewählt. Nach Art. 51 Abs. 2 des Reglements kann ein definitives Arbeitsverhältnis beiderseits jeweils auf Monatsende, jedoch unter Einhaltung einer Kündigungsfrist von sechs Monaten aufgelöst werden. Am 28. Juli 1998 hat die Gemeinde dem Beschwerdeführer das Arbeitsverhältnis unter Einhaltung dieser Kündigungsfrist gekündigt.
Was in der Beschwerde vorgebracht wird, ist nicht geeignet, die Auffassung des Kantonsgerichts willkürlich erscheinen zu lassen, die Kündigung entspreche angesichts des Vorstehenden dem kommunalen Recht. Der Beschwerdeführer wurde ausdrücklich gemäss dem Reglement angestellt, dieses sieht vor, dass auch definitiv für eine Amtsperiode angestellten Mitarbeitern während der Amtsperiode gekündigt werden kann. Es trifft zwar zu, dass damit die Wahl für eine Amtsperiode für die Kündigungsmöglichkeit keine Bedeutung hat. Auch besteht nach allgemeinem Sprachgebrauch ein gewisser Widerspruch zwischen einer Wahl für eine Periode und der Möglichkeit, das Arbeitsverhältnis schon vor Ende dieser Periode ordentlich kündigen zu können. Dies lässt es angesichts des klaren Wortlauts von Art. 51 Abs. 2 des Reglements nicht als offensichtlich unhaltbar erscheinen, einem Mitarbeiter ordentlich kündigen zu können, auch wenn er auf eine Amtsperiode gewählt wurde. Das Reglement sieht dies vielmehr offensichtlich ausdrücklich vor.
Im Übrigen sieht zwar der zweite Satz von Art. 51 Abs. 2 des Reglements die Möglichkeit abweichender Vereinbarungen vor. Es ist jedoch, entgegen der Auffassung des Beschwerdeführers, nicht willkürlich eine Wahl auf eine Amtsperiode nicht als abweichende Vereinbarung anzusehen.
Eine solche Wahl für eine Amtsperiode (bzw. deren Rest) und die Möglichkeit einer Kündigung während einer solchen entsprechen dem Reglement. Dass der Beschwerdeführer von der Gemeinde verschiedentlich als Beamter bezeichnet wurde und entgegen anderen Gemeindeangestellten auf eine feste Amtsdauer gewählt wurde, macht ihn nicht zu einem Beamten mit entsprechendem Kündigungsschutz. Dieser Status ist im kommunalen Recht nicht vorgesehen. Auch der Staatsrat, der den Beschwerdeführer als Beamten ansah, erläutert nicht, welche Regel des kommunalen Rechts einen solchen Beamtenstatus vorsieht bzw. welche Regel des kantonalen Rechts ihn vorschreibt. Der Beschwerdeführer bringt zwar Argumente vor, die dafür sprechen, dass Kadermitarbeiter eines Gemeinwesens auf eine Amtsperiode fest und ohne ordentliche Kündigungsmöglichkeit angestellt werden sollten. Er macht jedoch nicht geltend, es bestehe eine entsprechende Norm des kantonalen oder kommunalen Rechts.
3.- Der Beschwerdeführer macht weiterhin geltend, es verstosse gegen Treu und Glauben, ihn ohne wichtigen Grund zu entlassen, nachdem er auf eine Amtsperiode gewählt worden sei und im Zuge der Einführung des "new public management" den Mitarbeitern der Gemeinde versprochen worden sei, dass es zu keinen Entlassungen komme.
Der Vertrauensschutz gemäss <ref-law> bewirkt unter anderem, dass eine (selbst unrichtige) Auskunft oder Zusicherung einer Behörde unter bestimmten Umständen eine vom materiellen Recht abweichende Behandlung des Rechtsuchenden gebietet (vgl. <ref-ruling> E. 2c S. 479; <ref-ruling> E. 4b S. 254, je mit Hinweisen).
In der Wiederwahl des auf Grund des Angestelltenreglements angestellten Beschwerdeführers für eine Amtsperiode kann jedoch keine Zusicherung gesehen werden, dass ihm während dieser Amtsperiode entgegen dem Reglement nicht ordentlich gekündigt werde. Der Beschwerdeführer konnte seine Wiederwahl insbesondere deshalb nicht so verstehen, weil das Reglement die Möglichkeit einer ordentlichen Kündigung gegenüber definitiv für eine Amtsperiode gewählten Mitarbeitern ausdrücklich vorsieht.
Der Gemeinderat hat an seiner Sitzung vom 19. August 1997 im Zusammenhang mit der Einführung der Organisation der Gemeinde nach den Grundsätzen des "new public management" das Versprechen abgegeben, dass es beim Personal zu keinen Entlassungen komme. Dieses Versprechen konnte jedoch nicht so verstanden werden, dass es auf unbestimmte Zeit zu keinen ordentlichen Kündigungen in der Gemeinde Visp mehr kommen werde. Es konnte auch nicht so ausgelegt werden, dass kein Mitarbeiter entlassen werde, wenn er die Grundsätze des "new public management" in seinem Bereich nicht einzuführen bereit ist. Mit einem solchen Versprechen hätte der Gemeinderat auf seine politische Leitungsfunktion gegenüber der Verwaltung verzichtet. Vielmehr konnte das Versprechen nur als Zusicherung verstanden werden, dass kein Mitarbeiter entlassen werde, weil seine Stelle wegen der mit dem "new public management" verbundenen Rationalisierungen überflüssig würde. Es wurde mithin zugesichert, dass es zu keinen Entlassungen aus gewissermassen "wirtschaftlichen" oder "organisatorischen" Gründen komme. Die Stelle des Beschwerdeführers wurde nach seinem Abgang nicht im Rahmen des "new public management" aufgehoben, sondern wieder besetzt.
Es wird auch nicht behauptet, der neue Stelleninhaber habe vom "new public management" geforderte Kenntnisse und Fertigkeiten gehabt, die dem Beschwerdeführer abgegangen wären.
Somit hat der Gemeinderat sein Versprechen eingehalten, ihn nicht aus Gründen der Optimierung der Verwaltung im Rahmen des "new public management" zu entlassen.
4.- Die staatsrechtliche Beschwerde ist abzuweisen, soweit auf sie eingetreten werden kann. Bei diesem Ausgang des Verfahrens hat der Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens zu tragen (Art. 156 Abs. 1 OG). Der Gemeinde Visp ist praxisgemäss entsprechend ihrem Antrag eine Parteientschädigung zuzusprechen (Art. 159 Abs. 1 und 2 OG), da sie von einem Anwalt vertreten ist, und von ihr bei einer Bevölkerung von ca. 6500 Einwohnern nicht erwartet werden kann, einen eigenen Rechtsdienst zu haben.

Demnach erkennt das Bundesgericht:
1.- Die staatsrechtliche Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.- Die Gerichtsgebühr von Fr. 2'000.-- wird dem Beschwerdeführer auferlegt.
3.- Der Beschwerdeführer hat die Gemeinde Visp für das bundesgerichtliche Verfahren mit Fr. 1'200.-- zu entschädigen.
4.- Dieses Urteil wird dem Beschwerdeführer, der Munizipalgemeinde Visp sowie dem Staatsrat und dem Kantonsgericht, Öffentlichrechtliche Abteilung, des Kantons Wallis schriftlich mitgeteilt.
_
Lausanne, 6. Juli 2000
Im Namen der I. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: