Sachverhalt:
A. Vom 27. November bis zum 28. Dezember 2009 wurde ein revidierter Zonenplan und ein revidiertes Baureglement der Gemeinde Muotathal öffentlich aufgelegt. Vorgesehen war, im Gebiet "Aport" Teile der Parzellen Nrn. 16 und 17 von der Landwirtschaftszone in die Wohnzone W2 umzuzonen (Objekt Nr. 44 im Umfang von 1'323 m2 auf Parzelle Nr. 16 und Objekt Nr. 45 im Umfang von 9'785 m2 auf Parzelle Nr. 17, gesamthaft somit 11'108 m2). A._, Eigentümer der an Objekt Nr. 45 angrenzenden Parzelle Nr. 34, erhob mit zwei verschiedenen Eingaben Einsprache. Er beantragte, die Objekte Nrn. 44 und 45 seien in der Landwirtschaftszone zu belassen und der Randbereich seines eigenen Grundstücks sei ebenfalls der Landwirtschaftszone zuzuweisen. Der Gemeinderat Muotathal hiess die erste der beiden Einsprachen teilweise gut und teilte den Zufahrtsbereich zum Gebiet Aport der Wohn- und Gewerbezone WG2 zu. Die zweite Einsprache hiess er vollumfänglich gut und wies die Parzelle Nr. 34 mit Ausnahme des darauf stehenden Wohnhauses der Landwirtschaftszone zu.
Vom 27. Mai bis zum 27. Juni 2011 legte der Gemeinderat eine überarbeitete Fassung des revidierten Zonenplans und des revidierten Baureglements öffentlich auf. Im Unterschied zur ersten Fassung sieht diese vor, vom südöstlichen Teil der Parzelle Nr. 17 2'646 m2 als Objekt Nr. 45a der Wohn- und Gewerbezone WG2 zuzuweisen. Am 7. Juni 2011 erhob A._ erneut Einsprache. Mit Beschluss vom 15. Juni 2011 trat der Gemeinderat auf das Vorbringen nicht ein. In der Folge reichte mit Eingabe vom 23. Juni 2011 auch der Sohn und Mitbewohner von A._, X._, Einsprache ein. Diese Einsprache wurde vom Gemeinderat mit Beschluss vom 29. Juni 2011 abgewiesen. Auf eine von X._ dagegen erhobene Verwaltungsbeschwerde trat der Regierungsrat des Kantons Schwyz mit Beschluss vom 20. Dezember 2011 nicht ein. Daraufhin gelangte X._ ans Verwaltungsgericht des Kantons Schwyz. Dieses wies seine Beschwerde mit Entscheid vom 23. Februar 2012 ab.
B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 4. April 2012 beantragt X._, der Entscheid des Verwaltungsgerichts sei aufzuheben und die Angelegenheit zur Neubeurteilung an das Verwaltungsgericht zurückzuweisen. Dieses sei anzuweisen, das Objekt Nr. 45a in der Landwirtschaftszone zu belassen.
Das Verwaltungsgericht hat auf eine Vernehmlassung verzichtet. Der Gemeinderat Muotathal hat sich nicht vernehmen lassen. Der Regierungsrat beantragt, die Beschwerde sei abzuweisen. In seiner Stellungnahme dazu hält der Beschwerdeführer an seinen Anträgen und Rechtsauffassungen fest.
Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten nach Art. 82 lit. a BGG steht auf dem Gebiet des Raumplanungs- und Baurechts zur Verfügung. Der Beschwerdeführer hat am vorinstanzlichen Verfahren teilgenommen und macht geltend, das Verwaltungsgericht habe Bundesrecht verletzt, indem es den Nichteintretensentscheid des Regierungsrats bestätigte. Zu dieser Rüge ist er im bundesgerichtlichen Verfahren ungeachtet seiner Legitimation in der Sache berechtigt (Art. 89 Abs. 1 BGG, vgl. BGE 136 IV 41 E. 1.4 S. 44 mit Hinweisen). Der Streitgegenstand ist jedoch auf diese Frage beschränkt (Urteil 1B_53/2012 vom 23. April 2012 E. 1.3 mit Hinweisen). Deshalb kann insofern nicht auf die Beschwerde eingetreten werden, als der Beschwerdeführer darüber hinaus verlangt, die Rückweisung zur Neubeurteilung sei mit konkreten materiell-rechtlichen Anweisungen zu verbinden.
2. 2.1 Das Verwaltungsgericht führte zur Begründung seines Entscheids aus, es sei fraglich, ob der Beschwerdeführer als Sohn und Mitbewohner des Grundeigentümers ein hinreichendes Rechtsschutzinteresse habe. Dies könne jedoch offen bleiben, da im Rahmen einer Zweitauflage gegen eine Nutzungsplanung ohnehin nur insoweit Einsprache erhoben werden könne, als gegenüber der Erstauflage wesentliche Änderungen bestehen. Soweit sich der Beschwerdeführer gegen die Zuweisung des Objekts Nr. 45a zur Bauzone wehre, hätte er deshalb bei der ersten Auflage Einsprache erheben müssen, da bereits damals die Zuweisung dieses Landwirtschaftslands zur Bauzone vorgesehen gewesen sei. Der Unterschied zwischen der ersten und der zweiten Auflage habe diesbezüglich lediglich darin bestanden, dass statt einer Zone W2 eine Zone WG2 vorgesehen worden sei.
Die Behauptung des Beschwerdeführers, der Grundeigentümer habe gestützt auf eine behördliche Auskunft darauf vertrauen dürfen, dass er gegen die Einzonung von Land nördlich seines Grundstücks noch später Einsprache erheben könne, ändere an diesem Ergebnis nichts. Der Inhalt dieser mündlichen Auskunft könne grundsätzlich nicht rekonstruiert werden und zudem sei sie nicht dem Beschwerdeführer selbst, sondern dessen Vater erteilt worden. Zu berücksichtigen sei schliesslich, dass der Vater des Beschwerdeführers und Eigentümer der Parzelle Nr. 34 den ihn betreffenden Entscheid des Gemeinderats nicht angefochten und damit die Zonenplanänderung akzeptiert habe.
2.2 Der Beschwerdeführer macht geltend, im Zweitauflageverfahren sei erneut vollumfänglich über die Zonenplanung informiert worden. Daraus habe gefolgert werden dürfen, dass die gesamte Revision nochmals anfechtbar sei. Er habe Einsprache erhoben, weil nördlich der Parzelle Nr. 34 nach wie vor eine Bauzone geplant war, was ursprünglich und aufgrund von Aussagen der Behörden nicht verbindlich vorgesehen gewesen sei. Die Bauzone sei zudem um 1'489 m2 vergrössert worden. Auch habe mit der Zweitauflage der Zufahrtsbereich nördlich des Objekts Nr. 45a geändert. Mithin liege eine wesentliche Änderung des Zonenplans vor und die Vorinstanz habe den Sachverhalt falsch festgestellt und § 26 des Planungs- und Baugesetzes des Kantons Schwyz vom 14. Mai 1987 (SRSZ 400.100; im Folgenden: PBG) willkürlich angewendet, indem sie vom Gegenteil ausgegangen sei. Ebenso wenig habe das Verwaltungsgericht berücksichtigt, dass er den Rechtsweg im Vertrauen auf eine behördliche Aussage beschritten habe. Es spiele keine Rolle, dass die Auskunft anlässlich der Besprechung vom 21. Januar 2010 an seinen Vater gerichtet gewesen sei. Sein Vater habe aufgrund der damaligen Auskunft der Orts- und Richtplankommission darauf vertraut, dass er seine Interessen anlässlich eines zweiten Auflageverfahrens nochmals einbringen könne. Davon habe er auch ihn, seinen Sohn, unterrichtet.
2.2 Der Beschwerdeführer macht geltend, im Zweitauflageverfahren sei erneut vollumfänglich über die Zonenplanung informiert worden. Daraus habe gefolgert werden dürfen, dass die gesamte Revision nochmals anfechtbar sei. Er habe Einsprache erhoben, weil nördlich der Parzelle Nr. 34 nach wie vor eine Bauzone geplant war, was ursprünglich und aufgrund von Aussagen der Behörden nicht verbindlich vorgesehen gewesen sei. Die Bauzone sei zudem um 1'489 m2 vergrössert worden. Auch habe mit der Zweitauflage der Zufahrtsbereich nördlich des Objekts Nr. 45a geändert. Mithin liege eine wesentliche Änderung des Zonenplans vor und die Vorinstanz habe den Sachverhalt falsch festgestellt und § 26 des Planungs- und Baugesetzes des Kantons Schwyz vom 14. Mai 1987 (SRSZ 400.100; im Folgenden: PBG) willkürlich angewendet, indem sie vom Gegenteil ausgegangen sei. Ebenso wenig habe das Verwaltungsgericht berücksichtigt, dass er den Rechtsweg im Vertrauen auf eine behördliche Aussage beschritten habe. Es spiele keine Rolle, dass die Auskunft anlässlich der Besprechung vom 21. Januar 2010 an seinen Vater gerichtet gewesen sei. Sein Vater habe aufgrund der damaligen Auskunft der Orts- und Richtplankommission darauf vertraut, dass er seine Interessen anlässlich eines zweiten Auflageverfahrens nochmals einbringen könne. Davon habe er auch ihn, seinen Sohn, unterrichtet.
2.3 2.3.1 § 26 Abs. 3 PBG sieht vor, dass der Gemeinderat das Auflage- und Einspracheverfahren wiederholt, wenn die Entscheide im Einsprache- oder Beschwerdeverfahren eine wesentliche Änderung des Entwurfs zur Folge haben. Der Beschwerdeführer geht fehl in der Annahme, das Verwaltungsgericht habe eine wesentliche Änderung im Sinne dieser Bestimmung verneint. Aus dem Umstand der Durchführung eines zweiten Auflage- und Einspracheverfahrens geht im Gegenteil hervor, dass die Behörden eine wesentliche Änderung der Planung bejahten. Das Verwaltungsgericht hält indessen für entscheidend, dass der Beschwerdeführer seine Kritik bereits im ersten Einspracheverfahren hätte anbringen können und müssen.
Das Bundesgericht hat sich bereits im Urteil 1P.277/1989 und 1P.361/ 1990 vom 3. Oktober 1990 mit § 26 Abs. 3 PBG befasst. In diesem Urteil wird ausgeführt, dass die Neuauflage des wesentlich geänderten Nutzungsplans nebst der allgemeinen Orientierung der Öffentlichkeit bezweckt, jenen von der Änderung Betroffenen Gelegenheit zur Einsprache zu geben, die sich zuvor dazu nicht haben äussern können. Das Bundesgericht folgerte, dass es einem prozessualen Leerlauf gleichkäme, wenn Grundeigentümer, welche sich bereits im ersten Einspracheverfahren äussern konnten, dieselben Vorbringen nochmals im zweiten Einspracheverfahren vortragen dürften (a.a.O., E. 4b). Diese Überlegungen müssen im Grundsatz auch gelten, wenn im zweiten Auflageverfahren nicht nochmals derselbe, sondern ein anderer Betroffener Einsprache erhebt (in diese Richtung auch die Hinweise bei AEMISEGGER/HAAG, Praxiskommentar zum Rechtsschutz in der Raumplanung, 2010, N. 29 zu Art. 33 RPG, und WALDMANN/HÄNNI, Raumplanungsgesetz, N. 14 zu Art. 33 RPG). Es stellt deshalb keine willkürliche Anwendung von § 26 Abs. 3 PBG dar und verletzt auch nicht Art. 33 Abs. 3 lit. a RPG oder Art. 111 BGG, wenn das Verwaltungsgericht den Beschwerdeführer mit Rügen ausschliessen will, die er bereits im ersten Verfahren hätte vorbringen können.
Entscheidend ist somit, ob der Beschwerdeführer bereits im Rahmen der ersten Auflage Anlass hatte, Einsprache zu erheben. Dies ist zu bejahen. Sowohl in seiner Beschwerde an die Vorinstanz als auch in jener im bundesgerichtlichen Verfahren verlangt er in materieller Hinsicht ausschliesslich die Nichteinzonung des Objekts Nr. 45a (auf Parzelle Nr. 17). Die Einzonung dieses Objekts war indessen schon Teil der ersten Version des revidierten Zonenplans. Es lässt sich auch nicht sagen, dass sie angesichts des auch in weiteren Punkten geänderten Plans in einem anderen Lichte erschiene. Dass die zweite Version im betreffenden Bereich nicht mehr eine Wohnzone W2, sondern eine Wohn- und Gewerbezone WG2 vorsieht, ist nicht entscheidend, zumal dies für den Beschwerdeführer und seinen Vater sogar eine Verbesserung bedeutet. Die für die Zone WG2 geltende Empfindlichkeitsstufe dürfte nämlich das vom Beschwerdeführer befürchtete Konfliktpotenzial noch etwas entschärfen, welches zwischen dem von seinem Vater geführten Landwirtschaftsbetrieb und künftigen Nachbarn entstehen könnte (vgl. in diesem Zusammenhang Art. 63 des Baureglements der Gemeinde Muotathal vom 18. Dezember 1997). Mit anderen Worten hatte der Beschwerdeführer bei der ersten Auflage sogar noch mehr Anlass zur Einsprache. Unterliess er diese damals, so kann er dem Verwaltungsgericht keine willkürliche Anwendung von § 26 Abs. 3 PGB vorwerfen, weil es seine Einsprache im zweiten Auflageverfahren als verspätet ansah. Die betreffende Rüge ist unbegründet. Dasselbe gilt für die Behauptung, das Verwaltungsgericht habe in diesem Zusammenhang den Sachverhalt falsch festgestellt. Die Kritik des Beschwerdeführers betrifft die Rechtsanwendung, nicht die Sachverhaltsfeststellung.
2.3.2 Der Beschwerdeführer beruft sich schliesslich auf den Grundsatz von Treu und Glauben (Art. 9 BV). Er macht wie bereits erwähnt geltend, seine Einsprache in guten Treuen erhoben zu haben und sich dabei auf eine behördliche Auskunft vom 21. Januar 2010 an seinen Vater verlassen zu haben.
Der Grundsatz von Treu und Glauben verleiht einer Person Anspruch auf Schutz des berechtigten Vertrauens in unrichtige Zusicherungen, Auskünfte, Mitteilungen oder Empfehlungen einer Behörde, wenn die Behörde in einer konkreten Situation mit Bezug auf bestimmte Personen gehandelt hat, die Behörde für die Erteilung der betreffenden Auskunft zuständig war, der Bürger die Unrichtigkeit der Auskunft nicht ohne Weiteres erkennen konnte, er im Vertrauen auf die Richtigkeit der Auskunft Dispositionen getroffen hat, die nicht ohne Nachteil rückgängig gemacht werden können, und die gesetzliche Ordnung seit der Auskunftserteilung keine Änderung erfahren hat (BGE 132 II 240 E. 3.2.2 S. 244; 131 II 627 E. 6.1 S. 636 f.; 130 I 26 E. 8.1 S. 60; je mit Hinweisen).
Von einer Betätigung schutzwürdigen Vertrauens könnte unter den vorliegenden Umständen von vornherein nur dann gesprochen werden, wenn es der Beschwerdeführer im Vertrauen auf eine behördliche Auskunft unterlassen hätte, bereits im Rahmen der ersten Auflage Einsprache zu erheben. Dies ist jedoch nicht möglich, da die Einsprachefrist bereits am 28. Dezember 2009 ablief (§ 25 Abs. 3 PBG), somit noch vor der seinem Vater am 21. Januar 2010 angeblich erteilten Auskunft. Der Beschwerdeführer konnte somit nicht von einer am 21. Januar 2010 erteilten Auskunft davon abgehalten worden sein, Einsprache zu erheben. Darüber hinaus könnte eine falsche Auskunft ohnehin kein Beschwerderecht schaffen, das sonst nicht besteht (vgl. HÄFELIN/MÜLLER/UHLMANN, Allgemeines Verwaltungsrecht, 6. Aufl. 2010, Rz. 701). Die Rüge des Beschwerdeführers ist unbegründet.
2.3.3 Es ergibt sich, dass die Vorinstanz kein Bundesrecht verletzt hat, indem sie den Nichteintretensentscheid des Regierungsrats bestätigte. Wie es sich mit der Frage verhält, ob der Beschwerdeführer als Sohn und Mitbewohner des Grundeigentümers ein hinreichendes Rechtsschutzinteresse hat, kann unter diesen Umständen offen bleiben.
3. Die Beschwerde ist abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang des Verfahrens sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG). Er hat keinen Anspruch auf eine Parteientschädigung (Art. 68 Abs. 1 und 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 3'000.-- werden dem Beschwerdeführer auferlegt.
3. Es wird keine Parteientschädigung zugesprochen.
4. Dieses Urteil wird dem Beschwerdeführer, dem Gemeinderat Muotathal, dem Regierungsrat und dem Verwaltungsgericht des Kantons Schwyz, Kammer III, und dem Bundesamt für Raumentwicklung schriftlich mitgeteilt.
Lausanne, 20. August 2012
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Aemisegger
Der Gerichtsschreiber: Dold