Sachverhalt:
Sachverhalt:
A. B._ ist Eigentümer des südlich von Altendorf ausserhalb der Bauzone gelegenen Grundstücks Kat. Nr. 422, Cholrisi/Vorderbergstrasse. Auf dieser Parzelle stehen ein vom Ehepaar B._ bewohntes Wohnhaus sowie ein Schopfgebäude. Der Gemeinderat Altendorf hatte seinerzeit am 10. Juli 1981 eine "Aufstockung des Holzschopfes" unter der Auflage bewilligt, dass dieser nicht zu Wohnzwecken ausgebaut werde. Eine Bewilligung des kantonalen Amtes für Raumplanung wurde nicht eingeholt. Im Juni 2000 reichte B._ ein Baugesuch für verschiedene kleinere Bauvorhaben auf seinem Grundstück ein, darunter für die im Obergeschoss des Schopfes bereits eingebaute Werkstatt sowie für eine neu zu erstellende Zufahrt zum Schopf. Gegen diese Bauvorhaben erhoben die Nachbarn, die Eheleute A._, Einsprache.
A. B._ ist Eigentümer des südlich von Altendorf ausserhalb der Bauzone gelegenen Grundstücks Kat. Nr. 422, Cholrisi/Vorderbergstrasse. Auf dieser Parzelle stehen ein vom Ehepaar B._ bewohntes Wohnhaus sowie ein Schopfgebäude. Der Gemeinderat Altendorf hatte seinerzeit am 10. Juli 1981 eine "Aufstockung des Holzschopfes" unter der Auflage bewilligt, dass dieser nicht zu Wohnzwecken ausgebaut werde. Eine Bewilligung des kantonalen Amtes für Raumplanung wurde nicht eingeholt. Im Juni 2000 reichte B._ ein Baugesuch für verschiedene kleinere Bauvorhaben auf seinem Grundstück ein, darunter für die im Obergeschoss des Schopfes bereits eingebaute Werkstatt sowie für eine neu zu erstellende Zufahrt zum Schopf. Gegen diese Bauvorhaben erhoben die Nachbarn, die Eheleute A._, Einsprache.
B. Mit Verfügung vom 8. Juni 2001 erteilte das kantonale Amt für Raumplanung des Kantons Schwyz dem im Jahre 1981 von der Gemeinde bewilligten Holzschopfaufbau eine nachträgliche Raumplanungsbewilligung unter der Auflage, dass dieser weder zu wohn- noch zu gewerblichen Zwecken ausgebaut werden dürfe. Eine nachträgliche Ausnahmebewilligung für den Einbau der Werkstatt im Obergeschoss wurde dagegen verweigert. Der Baugesuchsteller wurde angewiesen, die nicht bewilligten Fenster auf der West-, Ost- und Südseite des Holzschopfes innert sechs Monaten nach Rechtskraft der Verfügung zu entfernen und die Öffnungen mit einer Holzschalung zu versehen. Sämtliche Werkstatteinrichtungen, namentlich die Hobel- und Bohrmaschinen sowie die Bandsäge, seien abzumontieren. Der Grundeigentümer wurde weiter verpflichtet, das bisher im Freien, auf einer - ebenfalls nicht bewilligten und daher abzubrechenden - Holzplattform aufgestapelte Holz im Holzschopf zu lagern. Im Übrigen verweigerte das kantonale Amt auch eine Ausnahmebewilligung für die Erstellung einer neuen Zufahrt zum Schopf.
Diese Verfügung des kantonalen Amtes wurde dem Gesuchsteller und den Einsprechern am 29. Juni 2001 vom Gemeinderat Altendorf eröffnet. Die Einsprecher gelangten hierauf mit Beschwerde an den Regierungsrat des Kantons Schwyz. Dieser hiess die Beschwerde mit Beschluss vom 10. Dezember 2003 gut und änderte die Verfügung des kantonalen Amtes für Raumplanung in dem Sinne ab, dass die nachträgliche Ausnahmebewilligung für das Schopfgebäude auf der Parzelle Kat. Nr. 422 verweigert werde. Das gesamte Schopfgebäude sei innert 12 Monaten ab Rechtskraft des Regierungsratsentscheides abzubrechen und das Terrain entsprechend dem ursprünglichen Zustand wiederherzustellen und zu renaturieren. B._ wandte sich hierauf seinerseits an das Verwaltungsgericht des Kantons Schwyz, das am 11. März 2004 den angefochtenen Regierungsratsbeschluss in Gutheissung der Beschwerde aufhob und die Verfügung des Amtes für Raumplanung vom 8. Juni 2001 bestätigte, soweit diese vom Regierungsrat abgeändert worden war.
Diese Verfügung des kantonalen Amtes wurde dem Gesuchsteller und den Einsprechern am 29. Juni 2001 vom Gemeinderat Altendorf eröffnet. Die Einsprecher gelangten hierauf mit Beschwerde an den Regierungsrat des Kantons Schwyz. Dieser hiess die Beschwerde mit Beschluss vom 10. Dezember 2003 gut und änderte die Verfügung des kantonalen Amtes für Raumplanung in dem Sinne ab, dass die nachträgliche Ausnahmebewilligung für das Schopfgebäude auf der Parzelle Kat. Nr. 422 verweigert werde. Das gesamte Schopfgebäude sei innert 12 Monaten ab Rechtskraft des Regierungsratsentscheides abzubrechen und das Terrain entsprechend dem ursprünglichen Zustand wiederherzustellen und zu renaturieren. B._ wandte sich hierauf seinerseits an das Verwaltungsgericht des Kantons Schwyz, das am 11. März 2004 den angefochtenen Regierungsratsbeschluss in Gutheissung der Beschwerde aufhob und die Verfügung des Amtes für Raumplanung vom 8. Juni 2001 bestätigte, soweit diese vom Regierungsrat abgeändert worden war.
C. Die Eheleute A._ haben gegen das Urteil des Verwaltungsgerichtes des Kantons Schwyz Verwaltungsgerichtsbeschwerde eingereicht. Sie verlangen, dass der angefochtene Entscheid aufgehoben und der Regierungsratsbeschluss insofern bestätigt werde, als eine nachträgliche Ausnahmebewilligung für das Schopfgebäude verweigert und dessen Abbruch angeordnet worden sei. Zudem sei der Beschwerdegegner oder seien allenfalls die Vorinstanzen zu verpflichten, in allen vorinstanzlichen Verfahren die Kosten zu tragen und die Beschwerdeführer angemessen zu entschädigen.
B._ und das Amt für Raumplanung des Kantons Schwyz stellen den Antrag, die Verwaltungsgerichtsbeschwerde sei abzuweisen, soweit auf sie eingetreten werden könne. Die Regierungsrat des Kantons Schwyz hat auf einen Antrag verzichtet. Das Verwaltungsgericht des Kantons Schwyz ersucht um Abweisung der Beschwerde. Nach Auffassung des Bundesamtes für Raumentwicklung ist die Verwaltungsgerichtsbeschwerde gutzuheissen, sofern die prozessualen Voraussetzungen dazu erfüllt seien.
In einem zweiten Schriftenwechsel haben die Parteien an ihren Standpunkten festgehalten.

Das Bundesgericht zieht in Erwägung:
Das Bundesgericht zieht in Erwägung:
1. Angefochten ist der Entscheid einer letzten kantonalen Instanz über die - nachträgliche - Erteilung einer Ausnahmebewilligung gemäss Art. 24 des Bundesgesetzes über die Raumplanung vom 22. Juni 1979 (RPG; SR 700). Gegen solche Entscheide ist nach Art. 34 Abs. 1 RPG die Verwaltungsgerichtsbeschwerde zulässig.
1. Angefochten ist der Entscheid einer letzten kantonalen Instanz über die - nachträgliche - Erteilung einer Ausnahmebewilligung gemäss Art. 24 des Bundesgesetzes über die Raumplanung vom 22. Juni 1979 (RPG; SR 700). Gegen solche Entscheide ist nach Art. 34 Abs. 1 RPG die Verwaltungsgerichtsbeschwerde zulässig.
2. Nach Art. 103 lit. a OG ist zur Verwaltungsgerichtsbeschwerde berechtigt, wer durch die angefochtene Verfügung berührt ist und ein schutzwürdiges Interesse an deren Aufhebung oder Änderung hat. Ficht - wie hier - nicht der Verfügungsadressat, sondern ein Dritter die Verfügung an, so wird zur Abgrenzung gegenüber der unzulässigen Popularbeschwerde verlangt, dass der Beschwerdeführer durch den angefochtenen Entscheid stärker als jedermann betroffen sei und in einer besonderen, beachtenswerten Beziehung zur Streitsache stehe. Das Interesse des Dritten an der Aufhebung oder Änderung der Verfügung kann rechtlicher oder auch bloss tatsächlicher Natur sein, doch muss es sich um eigene, persönliche Interessen des Beschwerdeführers handeln; auf öffentliche Interessen allein oder die Interessen anderer Dritter kann er sich nicht berufen. Das Interesse des Beschwerdeführers gilt als schutzwürdig, wenn seine tatsächliche oder rechtliche Situation durch den Ausgang des Verfahrens unmittelbar beeinflusst werden kann, d.h. wenn er durch das Beschwerdeverfahren einen materiellen oder ideellen Nachteil von sich abwenden oder aus diesem einen praktischen Nutzen ziehen kann (vgl. zum Ganzen etwa <ref-ruling> E. 2a, 123 II 376 E. 2, 125 I 7 E. 3a, je mit Hinweisen auf Lehre und Rechtsprechung).
In der vorliegenden Verwaltungsgerichtsbeschwerde wird zur Legitimation der Beschwerdeführenden dargelegt, diese seien Eigentümer der unmittelbar an das Baugrundstück angrenzenden Parzelle, auf welcher ihr Wohnhaus steht. Ferner gehöre die Cholrisistrasse, welche zu beiden Grundstücken führe, ebenfalls den Eheleuten A._. Die Benutzung des Schopfes auf dem Grundstück Kat. Nr. 422 habe daher sowohl erschliessungs- als auch immissionsmässige Auswirkungen auf das Grundstück der Beschwerdeführer. Zwischen der Schopfbaute und dem Grundeigentum der Beschwerdeführer bestehe somit eine besondere räumliche Beziehung. - In der Replik wird ergänzend vorgebracht, der Schopf mit der Doppelgarage werde über Boden der Beschwerdeführer, nämlich über die Cholrisistrasse erschlossen, ohne dass der Beschwerdegegner über eine entsprechende Dienstbarkeit verfüge. Die Cholrisistrasse führe unmittelbar am Wohnhaus der Beschwerdeführer vorbei. Zusätzlicher Verkehr habe für die Beschwerdeführer mehr Lärm, Staub und Schmutz, also eine bedeutende Beeinträchtigung ihrer Lebensqualität zur Folge. Stärkerer Verkehr bedeute aber auch höhere Unterhaltskosten für die Strasse. Ausserdem sei der Schopf für die Beschwerdeführer gut wahrnehmbar und einsehbar. Das Schopf-Untergeschoss aus Beton und das Schopf-Obergeschoss aus Holz "störten auch optisch".
Mit diesen Vorbringen vermögen die Beschwerdeführenden ihre Legitimation jedoch nicht zu belegen.
2.1 Aus den Akten ergibt sich, dass die beiden weit vom Siedlungsgebiet entfernten, am Nordhang des Vorderberges liegenden Häuser der Parteien zwar unmittelbar benachbart sind, der seitab stehende Schopf aber vom Wohnhaus der Beschwerdeführer aus praktisch nicht sichtbar ist und auch sonst nur wenig in Erscheinung tritt. Im Protokoll der im regierungsrätlichen Verfahren durchgeführten Augenscheinsverhandlung vom 28. Oktober 2002 wird denn auch festgestellt, dass sich der Schopf in einer Geländesenkung befinde und wegen der Vertiefung, den Bäumen sowie dem Wohnhaus auf Parzelle Nr. 422 kaum einsehbar sei. Er wirke, auch aufgrund der äusseren Gestaltung, in der Landschaft nicht störend. Der umstrittene Schopf führt somit für die Beschwerdeführenden weder zu Schattenwurf noch zu sonstigem Lichtentzug und auch zu keinerlei Beeinträchtigung der Aussicht. Die Beschwerdeführer können ebenfalls kein Interesse an der Freihaltung des Geländes in unmittelbarer Nähe ihres Wohnhauses geltend machen (vgl. <ref-ruling> E. 7d S. 256), da wie erwähnt das Wohnhaus des Beschwerdeführers neben dem ihren steht und den weiter entfernten Schopf abdeckt. Da eine gewerbliche Nutzung des Schopfes untersagt ist, ist zudem auszuschliessen, dass von diesem Lärm-, Geruchs- oder Staubeinwirkungen ausgehen könnten oder er sonst wie eine Gefahrenquelle bilden könnte. Die rein örtliche Nähe vermag daher noch keine besondere, beachtenswerte Beziehung der Beschwerdeführenden zum Streitgegenstand zu begründen.
2.2 Was die im Eigentum der Beschwerdeführenden stehende Zufahrtsstrasse anbelangt, ist den Akten zu entnehmen, dass dem Eigentümer der Parzelle Nr. 422 ein unbeschränktes Fuss- und Fahrwegrecht an dieser eingeräumt worden ist. Soweit die Beschwerdeführer zusätzlichen und mit der Dienstbarkeit nicht mehr vereinbaren Mehrverkehr seitens der Dienstbarkeitsberechtigten geltend machen wollen, sind solche Vorbringen im Rahmen der öffentlichrechtlichen Verwaltungsgerichtsbeschwerde unzulässig. Im Übrigen ist die Behauptung der Beschwerdeführer, dass sich der Verkehr verstärken werde, falls der Schopf nicht abgebrochen würde, nicht nachvollziehbar. Allein der Umstand, dass ein zusätzlicher Einstellraum zur Verfügung steht, heisst noch nicht, dass tatsächlich mehr Fahrzeuge abgestellt würden, und ebenso wenig, dass diese auch häufig verkehren würden. Zudem könnte es dem Eigentümer der Einfamilienhausparzelle Kat. Nr. 422 offensichtlich nicht verwehrt werden, auch ohne weitere Garage ein zusätzliches Fahrzeug anzuschaffen und dieses auf den vorhandenen Abstellflächen zu parkieren. Der Abbruch des Schopfes vermöchte somit eine Zunahme des Verkehrs auf dem Zufahrtssträsschen ohnehin nicht zu verhindern.
2.3 Die Beschwerdeführenden vermögen demnach mit ihren Ausführungen nicht darzutun, dass sie aus dem Abbruch des Schopfes einen unmittelbaren praktischen Nutzen ziehen oder dank diesem einen materiellen oder ideellen Nachteil von sich abwenden könnten. Liegt ihrer Beschwerdeführung daher kein eigenes schutzwürdiges Interesse zugrunde, so können sie ein solches auch nicht aus dem - rein öffentlichen - Interesse an der richtigen Durchsetzung des Bundesverwaltungsrechts ableiten. Die Beschwerdeführenden sind mithin zur Einreichung einer Verwaltungsgerichtsbeschwerde in der Sache selbst nicht legitimiert.
2.3 Die Beschwerdeführenden vermögen demnach mit ihren Ausführungen nicht darzutun, dass sie aus dem Abbruch des Schopfes einen unmittelbaren praktischen Nutzen ziehen oder dank diesem einen materiellen oder ideellen Nachteil von sich abwenden könnten. Liegt ihrer Beschwerdeführung daher kein eigenes schutzwürdiges Interesse zugrunde, so können sie ein solches auch nicht aus dem - rein öffentlichen - Interesse an der richtigen Durchsetzung des Bundesverwaltungsrechts ableiten. Die Beschwerdeführenden sind mithin zur Einreichung einer Verwaltungsgerichtsbeschwerde in der Sache selbst nicht legitimiert.
3. Die Beschwerdeführenden werfen dem Verwaltungsgericht im Weiteren vor, es habe ihren Anspruch auf rechtliches Gehör verletzt, weil es auf die Frage der Erschliessung des Schopfes nicht eingegangen sei. Zu dieser Rüge der formellen Rechtsverweigerung sind die Beschwerdeführenden als Verfahrensbeteiligte trotz der fehlenden Legitimation in der Sache selbst befugt (vgl. <ref-ruling> E. 1b, 123 II 69 E. 1b). Die Rüge ist jedoch schon deshalb unbegründet, weil sich die heutigen Beschwerdeführer im Verfahren vor Verwaltungsgericht gar nicht auf die - ihrer Meinung nach ungenügende - Erschliessung des Schopfes berufen haben (vgl. die Beschwerdeantwort der Eheleute A._ vom 27. Januar 2004). Da zum fraglichen Schopf eine grundstücksinterne Zufahrt besteht, brauchte sich das Verwaltungsgericht mit der Frage der Erschliessbarkeit des betreffenden Grundstücksteils auch nicht von Amtes wegen zu befassen. Die Verwaltungsgerichtsbeschwerde ist insofern abzuweisen.
3. Die Beschwerdeführenden werfen dem Verwaltungsgericht im Weiteren vor, es habe ihren Anspruch auf rechtliches Gehör verletzt, weil es auf die Frage der Erschliessung des Schopfes nicht eingegangen sei. Zu dieser Rüge der formellen Rechtsverweigerung sind die Beschwerdeführenden als Verfahrensbeteiligte trotz der fehlenden Legitimation in der Sache selbst befugt (vgl. <ref-ruling> E. 1b, 123 II 69 E. 1b). Die Rüge ist jedoch schon deshalb unbegründet, weil sich die heutigen Beschwerdeführer im Verfahren vor Verwaltungsgericht gar nicht auf die - ihrer Meinung nach ungenügende - Erschliessung des Schopfes berufen haben (vgl. die Beschwerdeantwort der Eheleute A._ vom 27. Januar 2004). Da zum fraglichen Schopf eine grundstücksinterne Zufahrt besteht, brauchte sich das Verwaltungsgericht mit der Frage der Erschliessbarkeit des betreffenden Grundstücksteils auch nicht von Amtes wegen zu befassen. Die Verwaltungsgerichtsbeschwerde ist insofern abzuweisen.
4. Schliesslich stellen die Beschwerdeführenden Antrag auf Neuregelung der prozessualen Kosten- und Entschädigungsfolgen. Die Kosten des vorangegangenen Verfahrens können vom Bundesgericht jedoch nur anders verlegt werden, wenn auch das Urteil in der Sache selbst abgeändert wird (Art. 157 OG). Auf das die Kostenverlegung betreffende Begehren kann daher ebenfalls nicht eingetreten werden.
4. Schliesslich stellen die Beschwerdeführenden Antrag auf Neuregelung der prozessualen Kosten- und Entschädigungsfolgen. Die Kosten des vorangegangenen Verfahrens können vom Bundesgericht jedoch nur anders verlegt werden, wenn auch das Urteil in der Sache selbst abgeändert wird (Art. 157 OG). Auf das die Kostenverlegung betreffende Begehren kann daher ebenfalls nicht eingetreten werden.
5. Die Kosten des bundesgerichtlichen Verfahrens sind den unterliegenden Beschwerdeführern aufzuerlegen (Art. 156 Abs. 1 OG). Diese haben dem obsiegenden privaten Beschwerdegegner für das bundesgerichtliche Verfahren eine angemessene Parteientschädigung auszurichten (Art. 159 Abs. 1 OG).

Demnach erkennt das Bundesgericht:
Demnach erkennt das Bundesgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen, soweit auf sie einzutreten ist.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen, soweit auf sie einzutreten ist.
2. Die Gerichtsgebühr von Fr. 3'000.-- wird den Beschwerdeführern auferlegt.
2. Die Gerichtsgebühr von Fr. 3'000.-- wird den Beschwerdeführern auferlegt.
3. Die Beschwerdeführer haben B._ für das bundesgerichtliche Verfahren eine Parteientschädigung von Fr. 3'000.-- zu bezahlen.
3. Die Beschwerdeführer haben B._ für das bundesgerichtliche Verfahren eine Parteientschädigung von Fr. 3'000.-- zu bezahlen.
4. Dieses Urteil wird den Parteien, dem Gemeinderat Altendorf, dem Amt für Raumplanung, dem Regierungsrat und dem Verwaltungsgericht des Kantons Schwyz, Kammer III, sowie dem Bundesamt für Raumentwicklung schriftlich mitgeteilt.
Lausanne, 16. Juni 2005
Im Namen der I. öffentlichrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin: