Sachverhalt:
A. Am 25. August 2006 liess das Baudepartement des Kantons Schwyz das "Bauprojekt für den Ausbau der Kantonsstrasse im Bereich Ortsdurchfahrt Galgenen, Teil Ost (Hauptstrasse Nr. 3)" ausschreiben und öffentlich auflegen. Das Vorhaben betrifft den Ausbau der Kantonsstrasse auf einer Länge von ca. 350 m ausgangs Galgenen in Richtung Siebnen. Es beinhaltet die Erstellung eines Kreisels (westlich), einer Linksabbiegespur (östlich), zweier gesicherter Fussgängerübergänge, zweier normgemässer Busbuchten, zweier Velostreifen von je 1.25 m Breite und beidseitiger Trottoirverbindungen. Die Kantonsstrasse soll von rund 7 m auf 9 m verbreitert werden. Das Vorhaben erfordert einen Landerwerb von fünf Grundeigentümern im Ausmass von insgesamt 1'626 m2. Für die Erstellung des Kreisels muss eine Fläche von etwa 101 m2 vom Grundstück KTN 97 erworben werden. Dieses Grundstück steht im Miteigentum von D.A._, welcher im Verlauf des Verfahrens verstorben ist, sowie der Erbengemeinschaft B.A._ und C.A._.
Mit Beschluss vom 4. Dezember 2007 genehmigte der Regierungsrat des Kantons Schwyz das Bauprojekt für den Ausbau der Hauptstrasse und wies die Einsprache der "Erbengemeinschaft A._" vom 13. September 2006 ab. In Ergänzung dazu erteilte der Regierungsrat mit Beschluss vom 19. Februar 2008 die raumplanungsrechtliche Zustimmung im Sinne der kantonalen Strassenverordnung.
D.A._, H._, E._, F._, G._, J._, K._ und I._ fochten mit Eingaben vom 29. Dezember 2007 und 10. März 2008 beide Regierungsratsbeschlüsse an. Mit Entscheid vom 15. April 2008 wies das Verwaltungsgericht des Kantons Schwyz die Beschwerden im Sinne der Erwägungen ab. Die von den Erbengemeinschaften A.A._ und B.A._, C.A._ und D.A._ gegen diesen Verwaltungsgerichtsentscheid beim Bundesgericht erhobenen Beschwerden wies dieses mit Urteil vom 27. August 2008 ab.
B. Nachdem ein freihändiger Erwerb der erforderlichen Landfläche von 101 m2 ab KTN 97 scheiterte, beschloss der Regierungsrat mit RRB Nr. 1333/2008 vom 2. Dezember 2008 das Land zu enteignen. Eine von den Landeigentümern gegen diesen Entscheid des Regierungsrates beim Verwaltungsgericht des Kantons Schwyz erhobene Beschwerde wies dieses mit Entscheid vom 23. Februar 2009 im Sinne der Erwägungen ab, soweit es darauf eintrat.
C. Gegen diesen Entscheid des Verwaltungsgerichts führen die Erbengemeinschaft A.A._ und die Erbengemeinschaft B.A._, C.A._ und D.A._ Beschwerde in öffentlich-rechtlichen Angelegenheiten und subsidiär Verfassungsbeschwerde beim Bundesgericht. Sie verlangen die Aufhebung des eingeleiteten Enteignungsverfahrens. Zudem beantragen sie, der Beschwerde sei aufschiebende Wirkung zu erteilen und es seien die vollständigen Akten Baumgartenweg mit der neuen Fussgängerverbindung Galgenen-Wangen beizuziehen. Dazu sei eventualiter ein Bericht des Amts für Raumentwicklung (ARE) in Auftrag zu geben.
D. Das Verwaltungsgericht verzichtet unter Hinweis auf das zweistufige Enteignungsverfahren im Kanton Schwyz auf eine Stellungnahme. Der Regierungsrat und die Gemeinde Galgenen beantragen Abweisung der Beschwerde. Die Beschwerdeführer halten in weiteren Eingaben an ihrer Beschwerde fest. Sie reichten weitere Unterlagen ein und verlangen die Durchführung eines Augenscheins.
E. Mit Präsidialverfügung vom 6. Mai 2009 wurde der Beschwerde aufschiebende Wirkung beigelegt.
Erwägungen:
1. 1.1 Das angefochtene Urteil des Verwaltungsgerichts betreffend die Zulässigkeit der Enteignung ist ein Endentscheid einer letzten kantonalen Instanz (Art. 90 und 86 Abs. 1 lit. d BGG; zur Publikation bestimmtes Urteil des Bundesgerichts 1C_39/2009 vom 18. Mai 2009 E 1.2). Diesem liegt eine öffentlich-rechtliche Angelegenheit zugrunde. Das Bundesgerichtsgesetz enthält auf dem Gebiet des Enteignungsrechts keinen Ausschlussgrund von der Beschwerde in öffentlich-rechtlichen Angelegenheiten (Art. 82 lit. a und Art. 83 BGG). Gegen den angefochtenen Entscheid des Verwaltungsgerichts ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten gemäss Art. 82 lit. a BGG grundsätzlich zulässig. Als Eigentümer der zu enteignenden Parzelle KTN 97 sind die Beschwerdeführer zur Beschwerdeführung berechtigt (Art. 89 Abs. 1 BGG).
1.2 Das Bundesgericht prüft den angefochtenen Entscheid auf Rechtsverletzungen im Sinne von Art. 95 BGG hin. Diese müssen in den Rechtsschriften hinreichend gerügt und begründet werden (Art. 42 Abs. 1 BGG).
Eine qualifizierte Rügepflicht gilt hinsichtlich der Verletzung von Grundrechten sowie von kantonalem und interkantonalem Recht. Bei solchen Rügen gilt der Grundsatz der Rechtsanwendung von Amtes wegen nicht. Vielmehr sind diese Rügen präzise vorzubringen und zu begründen (Art. 106 Abs. 2 BGG). Führt der Beschwerdeführer nicht zumindest in erkennbarer Weise an, welches Grundrecht seiner Meinung nach verletzt sei, und legt er nicht kurz dar, worin die behauptete Verletzung bestehe, unterbleibt die Prüfung durch das Bundesgericht (vgl. Botschaft zur Totalrevision der Bundesrechtspflege vom 28. Februar 2001, BBl 2001 4344 f.). Im Anwendungsbereich von Art. 106 Abs. 2 BGG wird demnach die Praxis zum Rügeprinzip gemäss Art. 90 Abs. 1 lit. b OG (vgl. dazu BGE 130 I 258 E. 1.3 S. 261 f.; 129 I 113 E. 2.1 S. 120) weitergeführt (BGE 133 II 249 E. 1.4.2 S. 254; 133 III 638 E. 2 S. 639).
Soweit eine rechtsgenügliche Begründung fehlt, wird auf die Beschwerde nicht eingetreten.
2. 2.1 Das Verwaltungsgericht legt im angefochtenen Entscheid dar, das Enteignungsverfahren des Kantons Schwyz sei zweistufig. In der ersten Verfahrensstufe werde entschieden, ob und was enteignet werden dürfe. Erst wenn das Verfahren dieser Stufe abgeschlossen sei, erfolge in der zweiten Stufe das Schätzungsverfahren vor der Schätzungskommission. Im Beschwerdeverfahren gegen die Enteignung (erste Verfahrensstufe) seien Begehren, welche die Änderung eines Plans bezweckten, der einem Auflage- und Einspracheverfahren unterzogen worden sei, unzulässig. In Missachtung dieser Rechtslage erhoben die Beschwerdeführer vor dem Verwaltungsgericht im Wesentlichen Rügen, die sich gegen das rechtskräftige Strassenprojekt richteten. Das Verwaltungsgericht ist auf diese Vorbringen nicht eingetreten.
2.2 Die Beschwerdeführer wiederholen ihre gegen das rechtskräftige Strassenprojekt gerichteten materiellen Rügen vor Bundesgericht erneut. Da diese mit dem Bundesgerichtsurteil vom 27. August 2008 (1C_240/2008 und 1C_241/2008) rechtskräftig beurteilt worden sind, können sie nicht Gegenstand des vorliegenden bundesgerichtlichen Verfahrens bilden. Auf diese Vorbringen der Beschwerdeführer ist daher nicht einzutreten. Das gilt namentlich in Bezug auf die Bestreitung der öffentlichen und privaten Interessen am Strassenprojekt, die Notwendigkeit und die Lokalisierung des umstrittenen Kreisels, den Einbezug von Parzellen der Beschwerdeführer in die Strassenplanung sowie die Verkehrsführung im Einzugsbereich des genehmigten Strassenprojekts mit Einschluss des Langsamverkehrs und der Fussgängerverbindungen.
2.3 Im Übrigen bestreiten die Beschwerdeführer das Vorliegen der Enteignungsvoraussetzungen in pauschaler Weise. Sie bringen damit unzulässige rein appellatorische Kritik am angefochtenen Urteil vor. So machen sie geltend, sie hätten verschiedentlich versucht, eine einvernehmliche Lösung zu erreichen. Das sei gescheitert. Im Weiteren bezeichnen die Beschwerdeführer als unzulässig, dass sie als private Landbesitzer im Enteignungsverfahren Land abgeben müssten für die Erschliessung einer privaten Firma, die eigentlich genug eigene Landressourcen besitze, um ihre selbst verursachten Verkehrsprobleme zu lösen. Auch diese Vorbringen erfüllen die vorn genannten Begründungsanforderungen an die Beschwerdeführung vor Bundesgericht nicht und richten sich zum Teil ebenfalls in unzulässiger Weise gegen das rechtskräftig beurteilte Strassenprojekt. Es kann deshalb darauf ebenfalls nicht eingetreten werden.
3. Zusammengefasst ergibt sich, dass auf die Beschwerde nicht einzutreten ist.
Bei diesem Verfahrensausgang sind die Gerichtskosten den Beschwerdeführern aufzuerlegen (Art. 66 Abs. 1 BGG). Den kommunalen und kantonalen Behörden ist keine Parteientschädigung zuzusprechen (Art. 68 Abs. 3 BGG).
Demnach erkennt das Bundesgericht:
1. Auf die Beschwerde wird nicht eingetreten.
2. Die Gerichtskosten von insgesamt Fr. 1'000.-- werden den Beschwerdeführern auferlegt.
3. Dieses Urteil wird den Beschwerdeführern, der Gemeinde Galgenen, dem Regierungsrat und dem Verwaltungsgericht des Kantons Schwyz, Kammer III, schriftlich mitgeteilt.
Lausanne, 10. September 2009
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Féraud Haag