Sachverhalt:
A. Am 25. August 2006 legte das Baudepartement des Kantons Schwyz das Bauprojekt für den Ausbau der Kantonsstrasse im Bereich Ortsdurchfahrt Galgenen, Teil Ost (Hauptstrasse Nr. 3) öffentlich auf. Das Vorhaben erforderte den Erwerb einer Fläche von etwa 101 m2 vom Grundstück KTN 97. Dieses Grundstück liegt ausserhalb der Bauzone. Es steht im Miteigentum der Erbengemeinschaften A._ sowie B._, C._und D._. Das Bauprojekt ist rechtskräftig genehmigt.
Nachdem ein freihändiger Erwerb der erforderlichen Landfläche des Grundstücks KTN 97 gescheitert war, beschloss der Regierungsrat des Kantons Schwyz am 2. Dezember 2008, dass diese Fläche dem Kanton Schwyz auf enteignungsrechtlichem Weg zu Eigentum übertragen wird. Die gegen diesen Entscheid erhobenen Rechtsmittel blieben erfolglos. Am 27. Oktober 2009 ersuchte der Kanton Schwyz die kantonale Schätzungskommission für Enteignungen 2. Kreis, die zu leistende Entschädigungssumme für die enteignete Fläche zu bestimmen und die vorzeitige Besitzergreifung zu bewilligen. Am 23. März 2010 setzte die Schätzungskommission die mutmassliche Entschädigungssumme, die der Kanton Schwyz zu hinterlegen habe, auf Fr. 2'020.-- fest. Gegen diesen Entscheid eingereichte Rechtsmittel blieben erfolglos (Urteil des Bundesgerichts 1C_360/2010 vom 26. Oktober 2010). Am 30. Dezember 2010 wies die Schätzungskommission den Kanton Schwyz in den Besitz der Landfläche ein. Dieser Beschluss wurde rechtskräftig.
B. Mit Entscheid vom 31. März 2011 setzte die Schätzungskommission die Entschädigung für die enteignete Landfläche zulasten des Kantons Schwyz auf Fr. 2'020.-- fest. Die gegen diesen Entscheid von den Erbengemeinschaften A._ sowie B._, C._ und D._ erhobene Klage hiess das Verwaltungsgericht des Kantons Schwyz am 21. September 2011 im Sinne der Erwägungen teilweise gut. Die Entschädigung für die Landfläche erhöhte sie auf Fr. 4'040.--. Im Übrigen wies sie die Klage ab, soweit darauf einzutreten war.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht vom 5. November 2011 stellen die im Rubrum aufgeführten Beschwerdeführerinnen und Beschwerdeführer folgende Anträge:
"1. Das Urteil des Verwaltungsgerichts des Kantons Schwyz vom 21. September 2011 sei vollumfänglich aufzuheben.
2. Stattdessen sei eine neutrale, unabhängige, wenn möglich ausserkantonale Schätzungskommission einzuberufen. Diese soll sämtliche Schäden und Folgeschäden als auch Minderwerte auf unseren beiden Liegenschaften KTN 97 und KTN 558, sowohl in materieller als auch in finanzieller Hinsicht aufnehmen und festhalten, welche dieser Kreisel auf unserem Land verursacht.
3. Ferner soll diese neu einberufene Schätzungskommission den Quadratmeterpreis des enteigneten Landes festlegen. Dieser soll mindestens gleichviel betragen wie die Firma Hornbach damals für ihr Bauland bezahlt hat, nämlich rund Fr. 450.- pro m2, oder aber zum aktuellen Richtpreis des überbaubaren Gewerbelandes der Gemeinde Galgenen.
4. Unsere Liegenschaft KTN 97, auf welcher der Kreisel zu einem Viertel liegt, soll unentgeltlich und uneingeschränkt, verkehrstechnisch rückwärtig via Baumgartenweg in den Kreisel erschlossen werden.
5. Im Weiteren beharren wir auf sämtlichen Rechtsbegehren und Anträgen der beiden Eingaben vom 20. April 2011 (Datum der Postaufgabe) und der Replik resp. Duplik vom 12. August 2011 an das Verwaltungsgericht.
6. Die rechtmässige Gültigkeit dieses Enteignungsverfahrens, insbesondere auch die vorzeitige Besitzergreifung von 101 m2 Land ab unserem Grundstück GB 97 ist zu überprüfen, da eine Einigungsverhandlung, wie sie im Kantonalen Expropriationsgesetz unter § 6, sowie in der Rechtslehre Formelle Enteignung (§ 150 ff. BauG) vorgeschrieben ist, nie stattfand.
7. Die Verfahrenskosten, welche unter solidarischer Haftbarkeit umschrieben und zu 9/10 uns auferlegt wurden, sollen dem Enteigner (Kanton Schwyz) selbst auferlegt werden.
8. Alles unter Kosten- und Entschädigungsfolgen zu Lasten der Vorinstanzen."
D. Das Verwaltungsgericht, die Schätzungskommission und das kantonale Baudepartement beantragen die Abweisung der Beschwerde, soweit darauf einzutreten sei. Die Beschwerdeführer halten in ihrer Stellungnahme an ihren Anträgen und Standpunkten fest.
Erwägungen:
1. 1.1 Angefochten ist ein letztinstanzlicher kantonaler Endentscheid (Art. 90 und Art. 86 Abs. 1 lit. d BGG). Dieser erging im Rahmen eines Enteignungsverfahrens und betrifft somit eine öffentlich-rechtliche Angelegenheit (Art. 82 lit. a BGG). Ein Ausschlussgrund nach Art. 83 BGG liegt nicht vor. Am bundesgerichtlichen Verfahren beteiligen sich sämtliche Gesamteigentümer des Grundstücks KTN 97. Sie haben allesamt auch am vorinstanzlichen Verfahren teilgenommen, sind durch den angefochtenen Entscheid besonders berührt und haben ein schutzwürdiges Interesse an dessen Aufhebung oder Änderung (Art. 89 Abs. 1 BGG). Ihre Beschwerde ist grundsätzlich zulässig.
1.2 Nach Art. 42 Abs. 2 BGG ist in der Begründung in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt. Dies setzt voraus, dass sich der Beschwerdeführer wenigstens kurz mit den Erwägungen des angefochtenen Entscheids auseinandersetzt. Genügt die Beschwerdeschrift diesen Begründungsanforderungen nicht, so ist darauf nicht einzutreten.
Strengere Anforderungen an die Begründung der Beschwerde gelten, wenn die Verletzung von Grundrechten (einschliesslich der willkürlichen Anwendung von kantonalem Recht und Willkür bei der Sachverhaltsfeststellung) geltend gemacht wird. Dies prüft das Bundesgericht insoweit, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG). Die Beschwerdeschrift muss die wesentlichen Tatsachen und eine kurz gefasste Darlegung darüber enthalten, welche verfassungsmässigen Rechte bzw. welche Rechtssätze inwiefern durch den angefochtenen Erlass oder Entscheid verletzt worden sind. Das Bundesgericht prüft nur klar und detailliert erhobene und, soweit möglich, belegte Rügen. Wird eine Verletzung des Willkürverbots geltend gemacht, muss anhand der angefochtenen Subsumtion im Einzelnen dargelegt werden, inwiefern der Entscheid an einem qualifizierten und offensichtlichen Mangel leidet (BGE 134 II 244 E. 2.1 und 2.2 S. 245 f. mit Hinweisen).
1.3 In der vorliegenden Angelegenheit ist eine auf kantonales Recht gestützte formelle Enteignung für eine Strassenkreuzung (Kreisel) zu beurteilen. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann nicht direkt die Auslegung und Anwendung des kantonalen Gesetzesrechts beanstandet werden (Art. 95 BGG), sondern es ist darzulegen, inwiefern der angefochtene Entscheid namentlich Bundesrecht oder kantonale verfassungsmässige Rechte verletzt (Art. 95 lit. a und c BGG). Die Beschwerdeschrift erfüllt die oben genannten Begründungsanforderungen gemäss Art. 42 und 106 BGG in Bezug auf die nach Art. 95 BGG zulässigen Rügen im Wesentlichen nicht. So liegt keine hinreichende Begründung einer Rechtsverletzung vor, wenn die Beschwerdeführer behaupten, es widerspreche sämtlichen Rechtsprinzipien eines Rechtsstaats, dass Private "Sondernutzungen von Privaten" tragen müssten. Auch soweit die Beschwerdeführer die Befangenheit eines Mitglieds der Schätzungskommission geltend machen, nennen sie keine Vorschriften, die verletzt sein sollen, und keine konkreten Umstände, aus denen sich die Ausstandspflicht ergeben könnte. Im Hinblick auf den Vorwurf, das Verwaltungsgericht habe sich zu Unrecht auf das "hoffnungslos veraltete" Expropriationsgesetz aus dem Jahre 1870 gestützt, erfolgt keine hinreichende Auseinandersetzung mit den Erwägungen der Vorinstanz zum anwendbaren Recht (E. 1.2, 2.1.2, 2.1.3 und 2.2.3 des angefochtenen Entscheids); aus dem Hinweis auf die Pflicht zur Durchführung einer Einigungsverhandlung nach § 150 Baugesetz lässt sich nicht entnehmen, auf welche Bestimmung des geltenden Rechts sich die Beschwerdeführer berufen.
Einzig in Bezug auf den Verzicht des Verwaltungsgerichts auf die Einholung eines Drittgutachtens berufen sich die Beschwerdeführer konkret auf verfassungsmässige Rechte (Art. 9 und 29 BV). Zur Frage nach einem zusätzlichen Gutachten kommt die Vorinstanz nach einer ausführlichen Beurteilung der massgebenden Gesichtspunkte zum Schluss, dass die von den Klägern gewünschte zusätzliche Begutachtung nicht nötig sei. Diese Auffassung ist auch unter Berücksichtigung der Vorbringen der Beschwerdeführer nicht zu beanstanden. Die Beschwerdeführer nennen Mängel des in den Akten liegenden Gutachtens, ohne sich mit den detaillierten Ausführungen im angefochtenen Entscheid zu den einzelnen Punkten auseinanderzusetzen. Dasselbe trifft für die Behauptung zu, ihnen werde ein Sonderopfer auferlegt. Das Verwaltungsgericht hat berücksichtigt, dass es sich bei der Parzelle der Beschwerdeführer um Bauerwartungsland handelt, dem aus den mit dem Kreisel geschaffenen neuen Erschliessungsmöglichkeiten in Zukunft bei positiv verlaufender Ortsplanungsrevision gewisse Vorteile erwachsen könnten. Inwiefern in einer solchen Situation ein Sonderopfer vorliegen sollte, legen die Beschwerdeführer nicht dar.
2. Es ergibt sich, dass die Beschwerde abzuweisen ist, soweit darauf eingetreten werden kann.
Die Kosten des bundesgerichtlichen Verfahrens sind den Beschwerdeführern aufzuerlegen (Art. 66 Abs. 1 BGG). Den kantonalen Behörden, die in ihrem amtlichen Wirkungskreis obsiegen, steht keine Parteientschädigung zu (Art. 68 Abs. 3 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf eingetreten werden kann.
2. Die Gerichtsgebühr von Fr. 2'000.-- wird den Beschwerdeführern auferlegt.
3. Dieses Urteil wird den Beschwerdeführern, dem Baudepartement, der Schätzungskommission für Enteignungen 2. Kreis und dem Verwaltungsgericht des Kantons Schwyz, Kammer III, schriftlich mitgeteilt.
Lausanne, 5. Juli 2012
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Haag