Sachverhalt: A. Am 29. Februar 2008 versteigerte das Betreibungsamt C._ das im Eigentum von X._ stehende Grundstück GB xxx C._. Die U._ erhielt den Zuschlag für den Grundstücksteil A und Z._ für den landwirtschaftlichen Grundstücksteil B. Eine von X._ gegen den Steigerungszuschlag erhobene Beschwerde wurde vom Kantonsgericht Schwyz mit Beschluss vom 23. Dezember 2008 abgewiesen, soweit darauf einzutreten war. B. Mit Schreiben vom 25. Februar 2010 gelangte X._ an das Betreibungsamt C._ und ersuchte um Aufhebung des Steigerungszuschlags für den Grundstücksteil B. Zur Begründung führte er aus, dem Erwerber habe die erforderliche Bewilligung zum Erwerb des landwirtschaftlichen Grundstücks gefehlt. Mit Schreiben vom 20. April 2010 erneuerte X._ sein Begehren, unter Androhung einer Rechtsverweigerungsbeschwerde. Das Betreibungsamt C._ antwortete X._ auf diese Eingaben hin nicht. C. Am 9. Juni 2010 erhob X._ beim Bezirksgerichtspräsidenten der March als unterer Aufsichtsbehörde Rechtsverweigerungsbeschwerde mit dem sinngemässen Antrag, das Betreibungsamt anzuweisen, mit beschwerdefähiger Verfügung über die Aufhebung des Steigerungszuschlags zu befinden. Das Betreibungsamt nahm dazu verspätet am 29. Juni 2010 Stellung. Am 9. September 2010 trat der Bezirksgerichtspräsident auf die Beschwerde nicht ein. D. Dagegen erhob X._ am 20. September 2010 (Postaufgabe) Beschwerde beim Kantonsgericht Schwyz als oberer kantonaler Aufsichtsbehörde. Er beantragte die Aufhebung des angefochtenen Entscheids und die Feststellung, dass die Steigerung bzw. der Zuschlag des Grundstücksteils B aufzuheben sei. Das Betreibungsamt C._ reichte am 22. September 2010 Gegenbemerkungen ein. Mit Eingabe vom 11. Oktober 2010 (Postaufgabe) verlangte X._ den Ausstand des Kantonsgerichtspräsidenten und beantragte, die Stellungnahme des Betreibungsamts vom 22. September 2010 aus den Akten zu weisen. Mit Beschluss vom 25. November 2010 wies das Kantonsgericht die Beschwerde ab, soweit es darauf eintrat. E. Mit Eingabe vom 4. Januar 2011 (Postaufgabe) hat sich X._ (Beschwerdeführer) an das Bundesgericht gewandt. Er beantragt die Aufhebung des Beschlusses des Kantonsgerichts. Dieses sei zu verpflichten, den Betreibungsbeamten zu einer beschwerdefähigen Stellungnahme zu verpflichten. Das Kantonsgericht beantragt, die Beschwerde abzuweisen, soweit auf sie einzutreten sei. Das Betreibungsamt C._ hat sich nicht vernehmen lassen.