Sachverhalt:
A. Am 29. Februar 2008 versteigerte das Betreibungsamt C._ das im Eigentum von X._ stehende Grundstück GB xxx C._. Die U._ erhielt den Zuschlag für den Grundstücksteil A und Z._ für den landwirtschaftlichen Grundstücksteil B. Eine von X._ gegen den Steigerungszuschlag erhobene Beschwerde wurde vom Kantonsgericht Schwyz mit Beschluss vom 23. Dezember 2008 abgewiesen, soweit darauf einzutreten war.
B. Mit Schreiben vom 25. Februar 2010 gelangte X._ an das Betreibungsamt C._ und ersuchte um Aufhebung des Steigerungszuschlags für den Grundstücksteil B. Zur Begründung führte er aus, dem Erwerber habe die erforderliche Bewilligung zum Erwerb des landwirtschaftlichen Grundstücks gefehlt. Mit Schreiben vom 20. April 2010 erneuerte X._ sein Begehren, unter Androhung einer Rechtsverweigerungsbeschwerde. Das Betreibungsamt C._ antwortete X._ auf diese Eingaben hin nicht.
C. Am 9. Juni 2010 erhob X._ beim Bezirksgerichtspräsidenten der March als unterer Aufsichtsbehörde Rechtsverweigerungsbeschwerde mit dem sinngemässen Antrag, das Betreibungsamt anzuweisen, mit beschwerdefähiger Verfügung über die Aufhebung des Steigerungszuschlags zu befinden. Das Betreibungsamt nahm dazu verspätet am 29. Juni 2010 Stellung. Am 9. September 2010 trat der Bezirksgerichtspräsident auf die Beschwerde nicht ein.
D. Dagegen erhob X._ am 20. September 2010 (Postaufgabe) Beschwerde beim Kantonsgericht Schwyz als oberer kantonaler Aufsichtsbehörde. Er beantragte die Aufhebung des angefochtenen Entscheids und die Feststellung, dass die Steigerung bzw. der Zuschlag des Grundstücksteils B aufzuheben sei. Das Betreibungsamt C._ reichte am 22. September 2010 Gegenbemerkungen ein. Mit Eingabe vom 11. Oktober 2010 (Postaufgabe) verlangte X._ den Ausstand des Kantonsgerichtspräsidenten und beantragte, die Stellungnahme des Betreibungsamts vom 22. September 2010 aus den Akten zu weisen. Mit Beschluss vom 25. November 2010 wies das Kantonsgericht die Beschwerde ab, soweit es darauf eintrat.
E. Mit Eingabe vom 4. Januar 2011 (Postaufgabe) hat sich X._ (Beschwerdeführer) an das Bundesgericht gewandt. Er beantragt die Aufhebung des Beschlusses des Kantonsgerichts. Dieses sei zu verpflichten, den Betreibungsbeamten zu einer beschwerdefähigen Stellungnahme zu verpflichten.
Das Kantonsgericht beantragt, die Beschwerde abzuweisen, soweit auf sie einzutreten sei. Das Betreibungsamt C._ hat sich nicht vernehmen lassen.

Erwägungen:
1. Die Beschwerde in Zivilsachen ist gegen den Entscheid der oberen Aufsichtsbehörde in Schuldbetreibungs- und Konkurssachen (<ref-law>) unabhängig vom Streitwert zulässig (Art. 72 Abs. 2 lit. a und Art. 74 Abs. 2 lit. c BGG). Sie ist binnen Frist erfolgt (Art. 100 Abs. 2 lit. a i.V.m. <ref-law>). Die nicht näher bezeichnete Eingabe des Beschwerdeführers ist demnach als Beschwerde in Zivilsachen entgegenzunehmen.
2. Wie sich der Begründung des angefochtenen Beschlusses entnehmen lässt, wurde das Ausstandsgesuch gegen den Kantonsgerichtspräsidenten als gegenstandslos beurteilt, weil dieser am Verfahren nicht beteiligt war. Da sich der Beschwerdeführer vor Bundesgericht weder gegen diese Beurteilung wendet, noch auf seinen Verfahrensantrag auf Nichtberücksichtigung der Stellungnahme des Betreibungsamts vom 22. September 2010 zurückkommt, ist davon auszugehen, dass diese Punkte nicht Gegenstand seiner Beschwerde bilden.
3. 3.1 Der Beschwerdeführer beanstandet zunächst die Auslegung seines Antrags an das Kantonsgericht. Er habe nicht ein Begehren um Aufhebung des Steigerungszuschlags gestellt. Diese Annahme sei willkürlich. Vielmehr habe er - bereits erstinstanzlich - den Erlass einer beschwerdefähigen Verfügung durch den Betreibungsbeamten verlangt.
Der Beschwerdeführer hat vor Kantonsgericht neben dem Antrag um Aufhebung des Entscheids der unteren Aufsichtsbehörde wörtlich Folgendes verlangt:
"Es sei festzustellen, dass die Steigerung, bzw. der Zuschlag des Grundstückes B aufzuheben ist."
Das Kantonsgericht hat diesen Feststellungsantrag dahingehend ausgelegt, dass der nicht rechtskundig vertretene Beschwerdeführer die Aufhebung des Steigerungszuschlags verlangt. Mit anderen Worten geht das Kantonsgericht davon aus, dass der Beschwerdeführer die - letztlich angestrebte - Rechtsgestaltung (Aufhebung des Steigerungszuschlags) durch das Kantonsgericht selber angeordnet sehen will.
3.2 Das Beschwerdeverfahren wurde dadurch ausgelöst, dass das Betreibungsamt C._ untätig geblieben ist, nachdem es die Eingaben des Beschwerdeführers vom Februar und April 2010 erhalten hatte. Richtet sich die Beschwerde gegen das Untätigbleiben des Betreibungsamts, liegt eine Beschwerde wegen formeller Rechtsverweigerung gemäss <ref-law> vor. Auch die Vorinstanz ist davon ausgegangen, bei der Eingabe an die untere Aufsichtsbehörde handle es sich um eine Rechtsverweigerungsbeschwerde. In einem solchen Fall könnte aber das Kantonsgericht keinen Sachentscheid auf Aufhebung des Steigerungszuschlags treffen, sondern einzig das Betreibungsamt zum Handeln anhalten (MARKUS DIETH, in: Kurzkommentar SchKG, 2009, N. 33 zu <ref-law>; COMETTA/MÖCKLI, in: Basler Kommentar, Bundesgesetz über Schuldbetreibung und Konkurs, 2. Aufl. 2010, N. 13 zu <ref-law>).
3.3 Allerdings weist das Kantonsgericht darauf hin, dass es mit Beschluss vom 23. Dezember 2008 eine Beschwerde des Beschwerdeführers gegen den Steigerungszuschlag vom 29. Februar 2008 rechtskräftig abgewiesen habe. Gestützt darauf sei die untere Aufsichtsbehörde auf die erneute Beschwerde in gleicher Sache nicht eingetreten.
Das erneute Begehren des Beschwerdeführers gegenüber dem Betreibungsamt C._ vom 25. Februar und 20. April 2010 um Aufhebung des Steigerungszuschlags kann mithin als Revisionsgesuch aufgefasst werden. Die Regelung der Revision von Aufsichtsbeschwerdeentscheiden ist Sache des kantonalen Rechts (<ref-law>; <ref-ruling> E. 1 S. 15). Art. 67 Abs. 2 des Bundesgesetzes vom 4. Oktober 1991 über das bäuerliche Bodenrecht (BGBB; SR 211.412.11) sieht zwar vor, dass die Steigerungsbehörde den Zuschlag aufhebt, wenn der Ersteigerer kein Bewilligungsgesuch einreicht oder die Bewilligung verweigert wird. Das BGBB regelt aber weder die Anfechtung des Zuschlags als solche noch den Fall, dass die Steigerung bereits einmal vor der Aufsichtsbehörde angefochten wurde und erneut in Frage gestellt wird. Das Kantonsgericht geht offenbar von der Anwendbarkeit von § 222 der ehemaligen Schwyzer Zivilprozessordnung vom 25. Oktober 1974 aus (ehemals SRSZ 232.110; GS 16-563). Diese Bestimmung regelt die Zulässigkeit der Revision. Sofern auch die diesbezügliche Zuständigkeitsregelung der ZPO/SZ entnommen würde, hätte das Kantonsgericht über das Revisionsgesuch in der Sache zu urteilen und wäre das Betreibungsamt hiezu nicht zuständig (§§ 224 Abs. 1 i.V.m. 227 ZPO/SZ). Diesfalls wäre die vom Kantonsgericht vorgenommene Auslegung der Anträge des Beschwerdeführers im Ergebnis nicht zu beanstanden. Es bliebe allerdings die Frage, wieso das Betreibungsamt die Eingaben des Beschwerdeführers dem Kantonsgericht nicht als Revisionsgesuch weitergeleitet hat. Da der Beschluss des Kantonsgerichts aus anderem Grunde aufzuheben ist, braucht an dieser Stelle auf die aufgeworfenen Verfahrensfragen nicht näher eingegangen zu werden. Es wird am Kantonsgericht liegen, das zutreffende Verfahren für die erneute Prüfung der Angelegenheit festzulegen.
4. 4.1 In der Sache stellt sich der Beschwerdeführer auf den Standpunkt, der Erwerber Z._ habe zum Zeitpunkt des Steigerungszuschlags über keine Erwerbsbewilligung verfügt.
Das Kantonsgericht hat dazu ausgeführt, der Beschwerdeführer nenne den Zeitpunkt nicht, in welchem er nachträglich vom Fehlen der Bewilligung erfahren habe. Gemäss Steigerungsprotokoll und nach den Angaben des Betreibungsamts in der Vernehmlassung vom 22. September 2010 sei die erforderliche Bewilligung beim Zuschlag bereits vorgelegen. Diese Feststellung wird vom Beschwerdeführer als aktenwidrig gerügt. In diesem Zusammenhang beanstandet er, dass das Kantonsgericht die notwendigen Abklärungen beim Amt für Landwirtschaft nicht vorgenommen habe.
4.2 Gemäss <ref-law> braucht eine Bewilligung, wer ein landwirtschaftliches Gewerbe oder Grundstück erwerben will. Das Bewilligungserfordernis gilt auch beim Erwerb in der Zwangsvollstreckung. Gemäss <ref-law> muss der Ersteigerer bei einer Zwangsversteigerung die Bewilligung vorlegen oder dann die Kosten für eine neue Versteigerung hinterlegen und innert zehn Tagen nach erfolgtem Zuschlag ein Bewilligungsgesuch einreichen. Wenn der Ersteigerer kein Gesuch einreicht oder die Bewilligung verweigert wird, hebt die Steigerungsbehörde den Zuschlag auf und ordnet eine neue Versteigerung an (<ref-law>).
Das Verfahren auf Erlass einer Bewilligung ist in <ref-law> geregelt. Abzugrenzen von der auf diese Weise zu erhaltenden Erwerbsbewilligung ist die Feststellungsverfügung gemäss <ref-law>. Gemäss <ref-law> kann bei Vorliegen eines schutzwürdigen Interesses von der Bewilligungsbehörde die Feststellung verlangt werden, ob der Erwerb eines landwirtschaftlichen Grundstücks bewilligt werden kann. Die darauf hin ergehende, die Bewilligungsfähigkeit feststellende Verfügung ersetzt die Bewilligung jedoch nicht. Es muss danach immer noch das formelle Bewilligungsverfahren durchlaufen werden (BEAT STALDER, in: Das bäuerliche Bodenrecht, Kommentar zum Bundesgesetz über das bäuerliche Bodenrecht vom 4. Oktober 1991, 1995, N. 3 zu <ref-law> und N. 8 zu <ref-law>; YVES DONZALLAZ, Commentaire de la loi fédérale du 4 octobre 1991 sur le nouveau droit foncier rural, 1993, Rz. 760).
4.3 Gemäss <ref-law> stellt die Aufsichtsbehörde den Sachverhalt von Amtes wegen fest. Die am Verfahren Beteiligten trifft eine Mitwirkungspflicht dahingehend, dass sie die Aufsichtsbehörde bei der Sachverhaltsermittlung nach bestem Wissen und Gewissen zu unterstützen haben. Der in <ref-law> festgehaltene Untersuchungsgrundsatz verlangt von der Aufsichtsbehörde, das Verfahren zu leiten, die relevanten Tatsachen und erforderlichen Beweismittel zu bestimmen, die Beweiserbringung anzuordnen und die erhobenen Beweise von Amtes wegen zu würdigen. Soweit die richtige Gesetzesanwendung es erfordert, muss die Aufsichtsbehörde die relevanten Tatsachen selber ermitteln und darf nicht bloss abwarten, ob die Parteien Instruktionsmassnahmen verlangen oder ob sie von sich aus geeignete Beweise beibringen (Urteil 5A_902/2010 vom 28. Februar 2011 E. 2.1 mit Hinweisen; vgl. auch <ref-ruling> E. 3 S. 329).
4.4 Soweit ersichtlich haben weder die obere noch die untere Aufsichtsbehörde abgeklärt, ob Z._ über eine Erwerbsbewilligung für das fragliche Grundstück verfügt. Eine entsprechende Bewilligung findet sich nicht in den Akten, welche dem Bundesgericht vom Kantonsgericht zugestellt worden sind. Das Vorliegen einer Erwerbsbewilligung von Z._ ist ferner im ersten Beschwerdeverfahren gegen den Zuschlag soweit ersichtlich nicht Prozessgegenstand gewesen. Die Vorinstanz verweist in ihrem Entscheid auf diverse Unterlagen, aus welchen sich die Existenz einer Erwerbsbewilligung ergeben soll. Zunächst zieht sie das Steigerungsprotokoll vom 29. Februar 2008 (act. 2, Beilage 3 der vorinstanzlichen Akten) heran. Daraus ergibt sich jedoch nicht, dass Z._ bei der Steigerung eine (rechtskräftige) Erwerbsbewilligung vorgelegt hat; vielmehr schweigt sich das Protokoll dazu aus und es wird bloss bei anderen Teilnehmern das Fehlen der entsprechenden Bewilligung konstatiert. Allerdings fehlt in diesem Protokoll in der dem Bundesgericht vorliegenden Kopie offenbar eine Seite. Selbst wenn im Protokoll die Vorlage eines entsprechenden Dokuments erwähnt sein sollte, dürfte sich die Aufsichtsbehörde im Bestreitungsfalle jedoch nicht mit dem Verweis darauf begnügen, sondern müsste sich selber vom Vorhandensein der Erwerbsbewilligung überzeugen. Des Weiteren verweist die Vorinstanz auf die Stellungnahme des Betreibungsamts C._ vom 22. September 2010 (act. 5 der vorinstanzlichen Akten). Dort wird festgehalten, dass Z._ am Steigerungstage der Einzige war, der "die besagte Bewilligung (Feststellungsverfügung) vorweisen konnte". Damit verwechselt das Betreibungsamt die Erwerbsbewilligung mit einer allfälligen Feststellungsverfügung über die voraussichtliche Möglichkeit dieser Bewilligung (oben E. 4.2). Dieser Verwechslung unterliegt in der Folge auch die Vorinstanz, welche in ihrem Urteil auf die Feststellungsverfügung des Landwirtschaftsamts des Kantons Schwyz vom 28. Februar 2008 hinweist (act. 2, Beilage 1) und vor Bundesgericht - an sich verspätet (<ref-law>) - den Entscheid des Verwaltungsgerichts des Kantons Schwyz vom 20. Januar 2010 über diese Feststellungsverfügung einreicht. Aus der vom Beschwerdeführer eingereichten Stellungnahme des Landwirtschaftsamts vom 30. November 2009 an das Verwaltungsgericht geht schliesslich sogar hervor, dass Z._ bis zu diesem Datum kein Gesuch um Bewilligung des Erwerbs des fraglichen Grundstücks gestellt hat. Daraus ergibt sich, dass die Vorinstanz in Verkennung der Abgrenzung von Erwerbsbewilligung und Feststellungsverfügung und in Verletzung des anwendbaren Untersuchungsgrundsatzes gemäss <ref-law> die Abklärung unterlassen hat, ob Z._ tatsächlich über eine Erwerbsbewilligung verfügt. Die Vorinstanz hat im Übrigen nicht festgestellt, dass auf das Vorbringen des Beschwerdeführers aus prozessualen Gründen nicht mehr eingetreten werden könnte. Die Angelegenheit ist mithin zu erneuter Abklärung in tatsächlicher und rechtlicher Hinsicht an die Vorinstanz zurückzuweisen und die Beschwerde wird in diesem Sinne gutgeheissen.
5. Auf die Erhebung einer Gerichtsgebühr ist zu verzichten (<ref-law>). Dem nicht anwaltlich vertretenen Beschwerdeführer ist keine Parteientschädigung zu entrichten (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen und der Beschluss des Kantonsgerichts Schwyz, 2. Rekurskammer, als obere kantonale Aufsichtsbehörde in Schuldbetreibung und Konkurs, vom 25. November 2010 wird aufgehoben. Die Angelegenheit wird zu neuer Beurteilung im Sinne der Erwägungen an das Kantonsgericht Schwyz zurückgewiesen.
2. Es werden keine Gerichtskosten erhoben.
3. Dieses Urteil wird den Verfahrensbeteiligten und dem Kantonsgericht Schwyz, 2. Rekurskammer, als obere kantonale Aufsichtsbehörde in Schuldbetreibung und Konkurs, schriftlich mitgeteilt.
Lausanne, 28. März 2011
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Der Gerichtsschreiber:
Hohl Zingg