Sachverhalt: A. Mit Schreiben vom 25. November 2008 lud das Vormundschaftsamt A._ X._ im Hinblick auf zu erlassende vormundschaftliche Massnahmen zur persönlichen Anhörung vor. Die Vorladung wurde dem Beschwerdeführer am 26. November 2008 auf dem Postweg zugestellt. X._ leistete ihr keine Folge. Mit Verfügung des Vormundschaftsamtes A._ vom 26. Januar 2009 wurde X._ in Anwendung von Art. 370 ZGB entmündigt und ihm ein Vormund in der Person von Z._ ernannt. Die Verfügung wurde X._ mit Einschreiben vom 29. Januar 2009 mitgeteilt. Da der Einschreibebrief nicht ausgehändigt werden konnte, wurde X._ am 30. Januar 2009 eine Abholungseinladung in das Postfach gelegt, die der Betroffene ebenfalls nicht abholte. Der eingeschrieben versandte Entmündigungsentscheid gelangte deshalb am 13. Februar 2009 wieder an das Vormundschaftsamt und wurde schliesslich gemäss Angaben der Gemeinde X._ am 29. Februar 2009 durch einen Angestellten der Gemeinde A._ persönlich überbracht. B. Am 16. März 2009 erhob der inzwischen beigezogene Rechtsbeistand von X._ beim Bezirksgericht Visp Berufung gegen die Entmündigung. Das Bezirksgericht hörte den Betroffenen in Gegenwart seines Rechtsbeistandes persönlich an, trat mit Urteil vom 31. August 2009 auf die seiner Ansicht nach verspätet eingereichte Berufung nicht ein, bestätigte aber den Entscheid des Vormundschaftsamtes A._. C. X._ ist mit einer am 15. Oktober 2009 der Post übergebenen Beschwerde in Zivilsachen an das Bundesgericht gelangt. Er beantragt, das Urteil des Bezirksgerichts Visp vom 31. August 2009 aufzuheben und die Sache zur Neubeurteilung an das Vormundschaftsamt A._ zurückzuweisen. Ferner sei ihm für das Verfahren vor Bezirksgericht und für das bundesgerichtliche Beschwerdeverfahren die unentgeltliche Rechtspflege zu gewähren und ihm eine angemessene Entschädigung zuzusprechen. D. Der Beschwerde ist mit Präsidialverfügung vom 4. November 2009 aufschiebende Wirkung zuerkannt worden. Dem Beschwerdeführer wurde überdies Frist von 15 Tagen ab Erhalt der Verfügung angesetzt, um sein Gesuch um unentgeltliche Rechtspflege zu begründen. Das Gesuch um Beschwerdeergänzung nach Art. 43 lit. b BGG wurde abgewiesen. E. Das Bezirksgericht hat am 13. Oktober 2009 ausdrücklich auf Vernehmlassung zur Sache verzichtet. Das Vormundschaftsamt A._ hat am 18. November 2009 verschiedene Unterlagen ins Recht gelegt, ohne sich aber ausdrücklich zur Sache vernehmen zu lassen. Der Beschwerdeführer hat am 23. November 2009 sein Gesuch um unentgeltliche Rechtspflege begründet. Überdies hat er zu den Eingaben des Vormundschaftsamtes Stellung genommen und seine in der Beschwerde gestellten Beweisanträge ergänzt.