Sachverhalt:
A. A.a In der von der Z._ AG angehobenen Betreibung Nr. 1 des Betreibungsamtes A._ wurde X._ am 23. Januar 2009 die Pfändung angekündigt.
A.b Gegen diese Verfügung erhob der Betriebene am 5. Februar 2009 Beschwerde beim Bezirksgericht Schwyz als unterer Aufsichtsbehörde. In seiner Begründung führte er unter anderem aus, dass "der eventuell befangene Richter (...) Instruktionen an die Vollzugsbehörden erteilt" habe. Daraufhin forderte der Gerichtspräsident X._ auf, innert 10 Tagen schriftlich mitzuteilen, ob er ein formelles Ausstandsbegehren gegen ihn stelle oder nicht. Gegebenenfalls werde das Gesuch dem Kantonsgericht Schwyz als Aufsichtsbehörde zum Entscheid überwiesen. Mit Schreiben vom 18. Februar 2009 antwortete X._ dahingehend, seine Beschwerde richte sich gegen das Betreibungsamt A._, das sich auf eine Rechtsauskunft des Gerichtspräsidenten stützte, gegen den er mit separatem Verfahren ein Ausstandsgesuch gestellt habe. Ihm sei nicht klar, ob das formelle Ausstandsbegehren ein separates Verfahren sei und er ersuche daher um Mitteilung, ob und wenn ja, in welcher Form er bezüglich dieses Verfahrens ein separates Ausstandsbegehren stellen müsse. Der Gerichtspräsident überwies am 25. Februar 2009 die Akten an das Kantonsgericht Schwyz zum Entscheid über das Ausstandsbegehren. Dabei hielt er fest, dass er sich für unbefangen halte, und er beantragte, das Ausstandsbegehren abzulehnen. Ein Doppel dieses Übermittlungsschreibens ging an X._.
B. Mit Verfügung vom 26. Februar 2009 trat der Kantonsgerichtspräsident als Präsident der oberen kantonalen Aufsichtsbehörde in Schuldbetreibung und Konkurs auf das Ausstandsgesuch von X._ nicht ein.
C. X._ ist mit Beschwerde in Zivilsachen vom 11. März 2009 an das Bundesgericht gelangt. Der Beschwerdeführer beantragt die Aufhebung der kantonsgerichtlichen Verfügung. Zudem sei ihm die Möglichkeit zu geben, sein Ausstandsbegehren ordentlich zu stellen und zu begründen.
Es sind keine Antworten eingeholt worden.
D. Am 25. März 2009 wies das Bezirksgericht als untere Aufsichtsbehörde die von X._ am 5. Februar 2009 in der Sache erhobene Beschwerde als verspätet ab. Dabei befand der Präsident vorläufig über das gegen ihn gerichtete Ausstandsbegehren und verneinte seine Befangenheit. Auf die dagegen erhobene Beschwerde trat das Kantonsgericht Schwyz als obere Aufsichtsbehörde mit Verfügung vom 9. April 2009 nicht ein.

Erwägungen:
1. 1.1 Entscheide der kantonalen Aufsichtbehörden in Schuldbetreibungs- und Konkurssachen sind der Beschwerde in Zivilsachen zugänglich (<ref-law>; <ref-ruling> E. 1.2 S. 351). Sie ist an keinen Streitwert gebunden (<ref-law>).
1.2 Die Vorinstanz hat über das Ausstandsbegehren des Beschwerdeführers letztinstanzlich befunden (Art. 75 Abs. 1 und 2 BGG); der betreffende Zwischenentscheid ist der Hauptsache folgend anfechtbar (<ref-law>). Offen bleiben kann, ob ein aktuelles Rechtsschutzinteresse an die Beurteilung der Anträge des Beschwerdeführers besteht. Immerhin hat die Erstinstanz inzwischen bereits selber (vorläufig) über das Ablehnungsbegehren befunden. Nach Angaben der Vorinstanz ist zudem die Frage nach dem Ausstand des Gerichtspräsidenten definitiv zusammen mit dem Sachentscheid zu beantworten.
1.3 Der Beschwerdeführer kann sämtliche Beschwerdegründe vorbringen und das Bundesgericht ist nicht auf die Prüfung der verfassungsmässigen Rechte beschränkt (<ref-law>).
2. 2.1 Unter Vorbehalt der bundesrechtlichen Minimalvorschriften gilt für das Verfahren vor den kantonalen Aufsichtsbehörden kantonales Recht (<ref-law>; vgl. COMETTA, in: Basler Kommentar zum Bundesgesetz über Schuldbetreibung und Konkurs, N. 48 zu Art. 20a). Dazu gehören insbesondere auch die formellen Anforderungen an eine Beschwerde. Da die Eingabe des Beschwerdeführers an die Erstinstanz von dieser als teilweise unklar beurteilt worden war, forderte sie ihn zu einer Ergänzung auf. Statt sich unmissverständlich zu äussern, ob der Ausstand des Gerichtspräsidenten verlangt werde, stellte dieser Fragen zu Einzelheiten des Verfahrens. Daraufhin wurden die Akten zwecks Beurteilung des Ausstandsbegehren an die Vorinstanz überwiesen, welche darauf nicht eintrat, da kein hinreichendes Gesuch nach <ref-law> vorliege. Es werde vom Beschwerdeführer nicht dargetan, welche Auskunft in welchem Zusammenhang erteilt worden sei und damit eine Befangenheit des Gerichtspräsidenten im Sinne des Gesetzes begründen würde.
2.2 Vor Bundesgericht macht der Beschwerdeführer geltend, das Bezirksgericht habe seine konkreten Fragen nicht beantwortet und er habe in der Folge keine Gelegenheit gehabt, das Ausstandsbegehren zu begründen. Sein rechtliches Gehör sei daher verletzt. Er legt indes nicht dar, aufgrund welcher Vorschrift des kantonalen Rechts der Gerichtspräsident ihm - zusätzlich zur bereits angesetzten Nachbesserungsfrist - noch die gewünschten Auskünfte hätte erteilen sollen. Soweit der Beschwerdeführer der Meinung sein sollte, dass ihm gestützt auf <ref-law> ein Anspruch auf Belehrung zustehe, kann ihm nicht gefolgt werden. Der Anspruch auf rechtliches Gehör garantiert dem Betroffenen zwar, sich vor Erlass eines in seine Rechtsstellung eingreifenden Entscheides zu äussern, erhebliche Beweise beizubringen, Einsicht in die Akten zu nehmen und zu einem entscheidwesentlichen Beweisergebnis Stellung zu nehmen (<ref-ruling> E. 3.2 S. 236). In welcher Form dies geschieht, legt indes das kantonale Verfahrensrecht abschliessend fest. Dass im vorliegenden Fall eine Belehrungspflicht des Richters mangels entsprechender Rüge nicht erkennbar ist, wurde bereits gesagt.
3. Aus diesen Gründen ist der vorinstanzliche Nichteintretensentscheid im Ergebnis nicht zu beanstanden, soweit er aufgrund der erhobenen Rügen überhaupt überprüft werden konnte. Da der Beschwerde kein Erfolg beschieden ist, hat der Beschwerdeführer die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde in Zivilsachen wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 800.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und dem Präsidenten des Kantonsgerichts Schwyz als Präsidenten der kantonalen Aufsichtsbehörde in Schuldbetreibung und Konkurs (2. Rekurskammer) schriftlich mitgeteilt.
Lausanne, 19. Mai 2009
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Der Gerichtsschreiber:
Hohl Levante