Sachverhalt: A. Mit Strafbefehl vom 30. Mai 2012 sprach Y._, Staatsanwalt des Kantons Wallis, X._, Betriebsleiter des Kraftwerks A._ AG in B._, welches von der C._ SA in D._ betrieben wird, der fahrlässigen Verletzung der Gewässerschutzgesetzgebung schuldig, verpflichtete ihn zur Bezahlung einer Geldstrafe von Fr. 16'200.- und auferlegte ihm eine Busse von Fr. 3'000.- sowie anteilsmässig die Kosten des Verfahrens im Umfang von Fr. 800.-. Gleichzeitig stellte er das Strafverfahren gegen E._, Verwaltungsrat und Geschäftsführer der F._ AG in G._ und der H._ AG in G._ wegen fahrlässiger Widerhandlungen gegen das Gewässerschutzgesetz ohne Kosten- und Entschädigungsfolgen ein. X._ führte gegen den Strafbefehl Einsprache. Am 12. Februar 2013 erhob Y._ beim Bezirksgericht Brig Anklage gegen X._ und beschuldigte ihn, am 21. Mai 2010 in pflichtwidriger Unvorsichtigkeit eine Verschmutzung der Rhone zwischen B._ und I._ herbeigeführt zu haben. Nachdem X._ mit Eingabe vom 4. März 2013 ans Bezirksgericht einen Antrag um Durchführung einer Expertise gestellt und in diesem Rahmen unter anderem vorgebracht hatte, verschiedene Umstände seien geeignet, den Anschein zu erwecken, dass Y._ bei seiner Vorgehensweise in der Streitsache voreingenommen sei, setzte der Staatsanwalt dem Rechtsvertreter des Beschuldigten in seinem Schreiben vom 24. Juni 2013 (mit der Bezeichnung: "Verfügung [Ausstand]") eine zehntägige Frist, um ein allfälliges Ausstandsbegehren gegen ihn einzureichen. Am 1. Juli 2013 liess X._ ein förmliches Ausstandsgesuch stellen, welches vom Kantonsgericht des Kantons Wallis abgewiesen wurde, soweit es darauf eintrat (einzelrichterliche Verfügung der Strafkammer vom 4. September 2013). B. X._ lässt Beschwerde in Strafsachen beim Bundesgericht führen mit dem sinngemässen Antrag, dem Ausstandsbegehren gegen Y._ sei stattzugeben und dieser sei durch eine unbefangene Staatsanwältin oder einen unbefangenen Staatsanwalt zu ersetzen. Y._ schliesst unter Hinweis auf die Akten und den angefochtenen Entscheid vom 4. September 2013 auf Abweisung der Beschwerde. Das Kantonsgericht verzichtet auf eine Stellungnahme.