Sachverhalt:
A. X._ und Z._ sind die Eltern des 1993 geborenen Sohnes A._. Bei der 1995 durch das Bezirksgericht B._ ausgesprochenen Scheidung ihrer Ehe wurde A._ unter die elterliche Gewalt der Mutter gestellt. X._ wurde ein Besuchs- und Ferienrecht eingeräumt. Das Kantonsgericht Wallis hob am 7. November 2000 die Besuchsrechtsregelung vollständig auf. Nachdem X._ wiederholt um Errichtung einer Beistandschaft für A._ ersucht und das Vormundschaftsamt C._ dem Begehren am 13. März 2008 entsprochen hatte, hob das Bezirksgericht D._ (Bezirksrichter Y._) den vormundschaftsbehördlichen Beschluss am 24. April 2009 auf und stellte ausdrücklich fest, dass X._ kein Recht auf persönlichen Verkehr mit seinem Sohn zustehe.
Mit Urteil vom 4. August 2009 (5A_370/2009) hob die erkennende Abteilung das Urteil des Bezirksrichters auf und wies die Sache zu neuem Entscheid an die kantonale Instanz zurück. Der Entscheid wurde ausschliesslich damit begründet, dass der Bezirksrichter den Anspruch von X._ auf rechtliches Gehör missachtet habe, indem er auf ein Schreiben von A._ abstellte, das X._ zwar zugestellt wurde, von dem dieser aber nur einen Tag vor Fällung des Entscheids Kenntnis erlangt hatte. In seiner Vernehmlassung vom 13. Juli 2009 an das Bundesgericht hatte der Bezirksrichter vorgebracht, X._ sei bei der Zustellung des erwähnten Schreibens ausdrücklich darauf hingewiesen worden, dass der Entscheid umgehend aufgrund der Akten gefällt werde, und hätte als Jurist mit Anwaltspraktikum wissen müssen, dass eine allfällige Stellungnahme umgehend einzureichen gewesen wäre.
B. Mit Eingabe vom 10. September 2009 an das Präsidium des Kantonsgerichts Wallis erklärte X._, er lehne Bezirksrichter Y._ ab, und verlangte, dieser sei von der Neubeurteilung der vom Bundesgericht zurückgewiesenen Sache zu entbinden.
Der Kantonsgerichtspräsident wies das Ausstandsbegehren am 3. Dezember 2009 ab.
C. Mit einer als "Einheitsbeschwerde in öffentlich-rechtlichen und/oder zivilrechtlichen Angelegenheiten und Verfassungsbeschwerde" bezeichneten Eingabe vom 2. Januar 2010 verlangt X._ die Aufhebung des Präsidialentscheids vom 3. Dezember 2009.
Vernehmlassungen zur Beschwerde sind nicht eingeholt worden.

Erwägungen:
1. 1.1 Angefochten ist ein selbständig eröffneter Entscheid über ein Ausstandsbegehren, der von der letzten kantonalen Instanz stammt (Art. 30 Abs. 1 lit. b der Walliser Zivilprozessordnung [ZPO]; vgl. <ref-law>). Bei einem Zwischenentscheid, wie er vorliegt, folgt der Rechtsweg demjenigen der Hauptsache (Urteil 5A_201/2008 vom 6. Oktober 2008, E. 1). In dieser geht es hier um den persönlichen Verkehr zwischen dem Beschwerdeführer und seinem (minderjährigen) Sohn, d.h. um eine Zivilsache nicht vermögensrechtlicher Natur. Es steht damit ohne weiteres die Beschwerde in Zivilsachen offen (<ref-law>). Dass der Beschwerdeführer seine Eingabe als "Einheitsbeschwerde in öffentlich-rechtlichen und/oder zivilrechtlichen Angelegenheiten und Verfassungsbeschwerde" bezeichnet, schadet ihm nicht. Unter das Bundesrecht, dessen Verletzung nach <ref-law> mit Beschwerde in Zivilsachen gerügt werden kann, fallen auch verfassungsmässige Rechte des Bundes (<ref-ruling> E. 1.2 S. 382 mit Hinweisen). Die rechtzeitig eingereichte Eingabe (<ref-law>) ist nach dem Gesagten als Beschwerde in Zivilsachen entgegenzunehmen.
1.2 Nach <ref-law> ist die Beschwerde zu begründen. Damit wird verlangt, dass der Beschwerdeführer sich mit den Erwägungen der kantonalen Instanz wenigstens kurz auseinandersetzt und darlegt, inwiefern der angefochtene Entscheid gegen Bundesrecht verstossen soll (dazu <ref-ruling> E. 2.1 S. 245 f.; <ref-ruling> E. 3.3 S. 60). Allgemein gehaltene Einwände, die ohne aufgezeigten oder erkennbaren Zusammenhang mit bestimmten Entscheidungsgründen vorgebracht werden, genügen nicht (vgl. <ref-ruling> E. 3 S. 749 mit Hinweisen; Urteil 5A_92/2008 vom 25. Juni 2008, E. 2.3).
2. Der Kantonsgerichtspräsident beruft sich auf <ref-law> und hält aufgrund der Gegebenheiten dafür, dass einzig die Fälle von lit. c (besondere Freundschaft oder Feindschaft zu einer der Parteien bzw. besonderes Pflicht- oder Abhängigkeitsverhältnis zu einer von ihnen) und lit. e (Misstrauen gegen die Unparteilichkeit des Richters begründende Tatsachen) als Ablehnungsgründe in Betracht fallen könnten.
2.1 Der Beschwerdeführer hatte im vorinstanzlichen Verfahren geltend gemacht, Bezirksrichter Y._ stehe zur Gegenpartei im Prozess (Z._) in einem besonderen Freundschaftsverhältnis, da die beiden der gleichen politischen Partei angehörten. Dem hält der Kantonsgerichtspräsident entgegen, der Umstand, dass der Richter und eine der Parteien die gleiche politische Gesinnung hätten, vermöge den Tatbestand von <ref-law> für sich allein nicht zu erfüllen, und weitere Umstände, die auf ein besonderes Freundschaftsverhältnis im Sinne der genannten Bestimmung schliessen liessen, seien nicht dargetan.
2.2 Aufgrund gewisser Ausführungen von Bezirksrichter Y._ in der Stellungnahme vom 13. Juli 2009 zu seiner Beschwerde im bundesgerichtlichen Verfahren 5A_370/2009 hatte der Beschwerdeführer auch den in <ref-law> umschriebenen Ablehnungsfall als erfüllt betrachtet. In der angesprochenen Vernehmlassung hatte Bezirksrichter Y._ unter Hinweis einerseits auf die im Rahmen der Zustellung des Schreibens von A._ vom 31. März 2009 angebrachte Bemerkung, der Entscheid werde umgehend aufgrund der Akten gefällt werden, sowie andererseits auf die juristische Ausbildung des Beschwerdeführers und auf dessen absolviertes Anwaltspraktikum erklärt, dieser habe gewusst, dass er eine allfällige Stellungnahme (zum erwähnten Schreiben) umgehend hätte einreichen müssen. Hierzu hält der Kantonsgerichtspräsident fest, dass ein Richter bei einer nicht anwaltlich vertretenen Partei nicht die gleichen Massstäbe ansetzen könne wie im Falle einer Vertretung durch einen Anwalt; trete die Partei ohne Anwalt auf, sei auf ihre Ausbildung, ihren Intellekt und ihre Allgemeinbildung abzustellen; der Beschwerdeführer habe alle seine Eingaben mit "lic. iur." unterzeichnet und damit seine Rechtskenntnisse ausdrücklich kundgetan, so dass bei ihm zu Recht ein strengerer Massstab angesetzt werde als bei einer nicht anwaltlich vertretenen rechtsunkundigen Partei; die vom Beschwerdeführer beanstandete Aussage zuhanden des Bundesgerichts, die auf Tatsachen beruhe, vermöge keine Voreingenommenheit oder Unparteilichkeit von Bezirksrichter Y._ darzutun; es lägen auch keine anderen Umstände vor, die bei objektiver Betrachtung einen solchen Schluss zuliessen.
3. Der Beschwerdeführer rügt eine Verletzung von Art. 30 (Abs. 1) BV und Art. 6 Ziff. 1 EMRK. Nach diesen beiden Bestimmungen, die im einschlägigen Punkt dieselbe Tragweite haben, hat der Einzelne Anspruch darauf, dass seine Sache von einem unabhängigen und unparteiischen Gericht ohne Einwirken sachfremder Umstände entschieden wird. Liegen bei objektiver Betrachtungsweise Gegebenheiten vor, die den Anschein der Befangenheit und die Gefahr der Voreingenommenheit zu begründen vermögen, so ist die Garantie des verfassungsmässigen Richters verletzt (<ref-ruling> E. 2 S. 15 mit Hinweisen).
Was der Beschwerdeführer vorbringt, vermag eine Missachtung seines Anspruchs auf einen unabhängigen und unparteiischen Richter nicht darzutun: Die gerügte Passage in der Vernehmlassung des Bezirksrichters vom 13. Juli 2009 enthält nichts anderes als dessen rechtliche Würdigung der Gegebenheiten unter dem Gesichtspunkt des Anspruchs auf rechtliches Gehör, der vom Beschwerdeführer als verletzt gerügt worden war. In ihrem Urteil vom 4. August 2009 (5A_370/2009) stellte die erkennende Abteilung fest, der erwähnte Anspruch sei (entgegen der Auffassung des Bezirksrichters) missachtet worden, hob den bezirksrichterlichen Entscheid auf und wies die Sache zu neuer Beurteilung an die kantonale Instanz zurück. Nach der Rechtsprechung schliesst der blosse Umstand, dass ein Richter an einem Urteil mitgewirkt hat, das im Rechtsmittelverfahren aufgehoben wird, eine Neubeurteilung unter seiner Mitwirkung nicht aus (dazu <ref-ruling> E. 3.6 S. 118 ff. mit Hinweisen). Von einer unzulässigen Vorbefassung kann hier um so weniger die Rede sein, als die erkennende Abteilung nach der ausdrücklichen Erklärung im Entscheid vom 4. August 2009 (5A_370/2009, E. 4.4) sich zur Sache selbst nicht geäussert hat. Die gegen den Entscheid des Bezirksrichters (vom 24. April 2009) gerichteten Rügen von Rechtsverletzungen materieller Natur sind hier nicht zu hören. Der kantonale Richter wird neu zu entscheiden haben, sobald er dem Beschwerdeführer im Sinne des erwähnten bundesgerichtlichen Entscheids das rechtliche Gehör gewährt haben wird. Inwiefern sich aus der beanstandeten langen Dauer des Verfahrens eine Befangenheit des Bezirksrichters ergeben soll, legt der Beschwerdeführer nicht dar. Da der Bezirksrichter einen (anfechtbaren) Entscheid zur Sache gefällt hat, stiesse ein allfälliger Vorwurf der Rechtsverzögerung übrigens ins Leere.
4. Soweit auf die Beschwerde einzutreten ist, ist sie nach dem Gesagten abzuweisen. Bei diesem Ausgang sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, Bezirksrichter Y._ und dem Kantonsgericht Wallis (Präsidentschaft) schriftlich mitgeteilt.
Lausanne, 11. Februar 2010
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Der Gerichtsschreiber:
Hohl Gysel