Sachverhalt: A. B._ ist Landwirt und Eigentümer der in der Landwirtschaftszone gelegenen Parzelle Nr. 2539 an der Seestrasse 47a in Willerzell. Die Parzelle wird durch die Strasse Erlen von seinem Betriebszentrum getrennt. Er beabsichtigt, eine auf dem Grundstück stehende Remise (Gebäude Nr. 3775) teilweise abzubrechen und anschliessend mit einem Anbau zu vergrössern. Die so umgebaute Remise soll unter anderem zum Einstellen landwirtschaftlicher Nutzfahrzeuge und Maschinen dienen. Während der öffentlichen Auflage des Baugesuchs vom 23. Dezember 2011 bis zum 10. Januar 2012 reichte A._, Eigentümer der benachbarten und mit einem Ferienhaus überbauten Parzelle Nr. 2777, Einsprache ein. Das Amt für Raumentwicklung des Kantons Schwyz teilte B._ mit Schreiben vom 23. Februar 2012 mit, dass die Remise im beantragten Umfang nicht betriebsnotwendig und deshalb um 45 m2 auf 270 m2 zu reduzieren sei. Nachdem B._ daraufhin ein abgeändertes Gesuch mit einem reduzierten Projekt eingereicht hatte, erteilte ihm das Amt mit Gesamtentscheid vom 16. Mai 2012 die kantonale Baubewilligung unter Auflagen. Mit Baubewilligung vom 4. Juni 2012 genehmigte in der Folge auch die Baubehörde des Bezirks Einsiedeln das Gesuch unter Auflagen. Sie eröffnete B._ den kantonalen Gesamtentscheid und erklärte diesen zum Bestandteil der Baubewilligung. Die Einsprache von A._ wurde abgewiesen. A._ erhob am 26. Juni 2012 Verwaltungsbeschwerde beim Regierungsrat des Kantons Schwyz. Mit Entscheid vom 11. Dezember 2012 wies der Regierungsrat das Rechtsmittel ab. Eine von A._ dagegen eingelegte Beschwerde wies das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 17. April 2013 ebenfalls ab. B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht vom 23. Mai 2013 beantragt A._, der Entscheid des Verwaltungsgerichts sei aufzuheben und die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. Das Verwaltungsgericht beantragt die Abweisung der Beschwerde, soweit darauf einzutreten sei. Das kantonale Amt für Raumentwicklung hat sich vernehmen lassen, ohne einen förmlichen Antrag zu stellen. Die Baubehörde Einsiedeln, der Regierungsrat und der Beschwerdegegner schliessen auf Abweisung der Beschwerde. Das ebenfalls zur Vernehmlassung eingeladene Bundesamt für Raumentwicklung hat auf eine Stellungnahme verzichtet.