Sachverhalt:
A. Die Erben des X._ sel., nämlich A._, B._, C._, D._ und E._, sind Eigentümer der Parzellen Nrn. 28 und 1318 (insgesamt rund 17'000 m2) im Gebiet Planggli in Niederurnen. Das Planggli ist eine in sich geschlossene, weitgehend unüberbaute Geländekammer mit einer Fläche von ca. 5 ha. Sie liegt an einem recht steilen Abhang, der im Norden und Westen an landwirtschaftlich genutztes und zum Teil bewaldetes Gebiet stösst und im Süden durch den Niederurnerbach vom Siedlungsgebiet getrennt ist.
B. Am 2. März 1975 beschloss die Gemeinde Niederurnen eine neue Bauordnung mit Zonenplan, die jene von 1957 ersetzen sollte. Danach sollte die Parzelle Nr. 1318 der Wohnzone 2. Etappe zugewiesen werden und die Parzelle Nr. 28 im übrigen Gemeindegebiet verbleiben. Am 10. Mai 1977 hiess der Regierungsrat des Kantons Glarus den Rekurs von X._ dahin gut, dass auch die Parzelle Nr. 28 der Wohnzone 2. Etappe zuzuweisen sei. Die dagegen erhobene staatsrechtliche Beschwerde der Gemeinde Niederurnen wies das Bundesgericht am 8. März 1978 ab, soweit es darauf eintrat (Urteil P.147/77).
C. Im Richtplan des Kantons Glarus von 1988 (Koordinationsblatt Nr. 6.1.4 Niederurnen) hielt der Regierungsrat fest, dass die Bauzonen der Gemeinde Niederurnen den Bedarf gemäss Art. 15 RPG wesentlich überstiegen und redimensioniert werden müssten. In erster Priorität sei das Gebiet im Riet in die Landwirtschaftszone umzuzonen.
Am 16. September 1989 publizierte der Gemeinderat Niederurnen eine Planungszone, die auch das Gebiet Planggli umfasste.
Am 21. Juni 1991 genehmigte die Ortsgemeindeversammlung Niederurnen die Totalrevision der Ortsplanung, mit Ausnahme der Zoneneinteilung des Gebiets Planggli. Diese wurde an den Gemeinderat zurückgewiesen zur Prüfung einer allfälligen Entschädigungspflicht bei Zuweisung des Gebiets zur Landwirtschaftszone. Obgleich das eingeholte Gutachten eine materielle Enteignung verneinte, beantragte der Gemeinderat erneut die Zuweisung des Gebiets Planggli zur Wohnzone W2 mit Nutzungskonzentration gemäss Art. 65 der neuen Bauordnung sowie (für die Parzellen die bisher im übrigen Gemeindegebiet lagen) zur Zone mit noch nicht bestimmter Nutzung. Die Ortsgemeindeversammlung von Niederurnen folgte diesem Antrag nicht und beschloss am 29. November 1991, das Gebiet Planggli der Landwirtschaftszone zuzuweisen.
D. Am 11. Januar 1993 genehmigte der Regierungsrat den Nutzungsplan im Gebiet Planggli, jedoch nicht gemäss dem Beschluss der Gemeindeversammlung, sondern entsprechend der Vorlage des Gemeinderates, weil die Auszonung des Planggli im Richtplan nicht vorgesehen sei. Dieser Beschluss wurde vom Verwaltungsgericht Glarus in Gutheissung einer Stimmrechtsbeschwerde am 6. April 1993 aufgehoben, weil es im Ermessen der Gemeinde gelegen habe, weitere als im Richtplan vorgeschriebene Rückzonungen vorzunehmen.
Am 21. Oktober 1997 hiess der Regierungsrat die Beschwerden der Erbengemeinschaft X._ und des Handwerkerkonsortiums Z._ (Eigentümer der Parzelle Nr. 30 im Planggli) gegen den Beschluss der Ortsgemeindeversammlung teilweise gut. Er wies die Parzellen Nrn. 28, 30 und 1318 dem allgemeinen Baugebiet zu und forderte die Ortsgemeindeversammlung Niederurnen auf, sie einer Bauzone gemäss kommunalem Nutzungsplan zuzuweisen.
Am 9. März 2001 ersuchten verschiedene Grundeigentümer den Regierungsrat, eine Verfügung zu erlassen, wonach Anträge von Stimmberechtigten an die Frühjahrsgemeindeversammlung 2001, die im Widerspruch zum Rückweisungsentscheid vom 21. Oktober 1997 die Zuweisung des Gebietes Planggli in eine Nichtbauzone verlangten, nicht zur Abstimmung zuzulassen seien. Der Regierungsrat wies das Gesuch am 10. April 2001 ab.
Am 18. Mai 2001 hielt die Ortsgemeindeversammlung von Niederurnen an ihrem Entscheid vom 29. November 1991 fest, womit das Gebiet Planggli der Landwirtschaftszone zugewiesen blieb.
Die Erben des X._ sel. sowie das Handwerkerkonsortium Z._ fochten den Entscheid der Gemeindeversammlung erfolglos beim Regierungsrat und beim Verwaltungsgericht an. Am 6. Oktober 2005 wies das Bundesgericht ihre Verwaltungsgerichtsbeschwerde ab, soweit es darauf eintrat (1P.21 und 23/2005). Es hielt fest, dass die Rückweisungsentscheide des Regierungsrats vom 21. Oktober 1997 an schweren verfahrensmässigen Mängeln litten und überdies auch inhaltlich offensichtlich nicht haltbar seien; nachdem sich auch der Regierungsrat mit Entscheid vom 10. April 2001 von ihnen distanziert habe, sei es verfassungsrechtlich nicht zu beanstanden, dass sich die Gemeindeversammlung nicht daran gebunden fühlte (E. 3.4).
Am 4. April 2006 genehmigte der Regierungsrat den Nutzungsplan Planggli vom 18. Mai 2001.
E. Die betroffenen Grundeigentümer, darunter auch die Erben des X._ sel., beantragten am 4. Juli 2006 beim Regierungsrat, es sei festzustellen, dass mit Bezug auf ihre Grundstücke Nr. 28 und 1318 eine Entschädigung zufolge materieller Enteignung geschuldet sei. Nach Durchführung eines Augenscheins wies der Regierungsrat am 23. Juni 2009 die Gesuche ab.
Dagegen gelangten die betroffenen Grundeigentümer an das Verwaltungsgericht. Dieses wies die Beschwerden am 19. Januar 2011 ab.
F. Gegen den verwaltungsgerichtlichen Entscheid haben die Erben des X._ sel. am 23. Februar 2011 Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht erhoben. Sie beantragen, der angefochtene Entscheid sei aufzuheben und es sei festzustellen, dass sie mit der Zuweisung ihrer Grundstücke zur Landwirtschaftszone materiell enteignet worden seien. Die Vorinstanz sei anzuweisen, die erforderlichen verfahrensrechtlichen Anordnungen zur Festsetzung der vollen Entschädigung zu treffen.
G. Die Gemeinde Glarus Nord (als Rechtsnachfolgerin der Gemeinde Niederurnen), der Regierungsrat und das Verwaltungsgericht beantragen die Abweisung der Beschwerde. Das Bundesamt für Raumentwicklung hat auf eine Vernehmlassung verzichtet.
H. Im weiteren Schriftenwechsel halten die Parteien an ihren Anträgen fest.

Erwägungen:
1. Der kantonal letztinstanzliche Entscheid des Verwaltungsgerichts verneint das Vorliegen einer materiellen Enteignung und schliesst somit das Entschädigungsverfahren ab. Es handelt sich daher um einen Endentscheid (<ref-law>), der grundsätzlich mit Beschwerde in öffentlich-rechtlichen Angelegenheiten angefochten werden kann. Da auch alle übrigen Sachurteilsvoraussetzungen vorliegen, ist auf die Beschwerde einzutreten.
2. Das Verwaltungsgericht hat dargelegt, dass die Zuweisung des Gebiets Planggli in die Landwirtschaftszone als Nichteinzonung zu qualifizieren sei. Dies wird von den Beschwerdeführern nicht mehr bestritten.
2.1 Nichteinzonungen lösen grundsätzlich keine Entschädigungspflicht aus (vgl. <ref-ruling> E. 2.2 S. 220 f.; <ref-ruling> E. 3b S. 433; je mit Hinweisen). Nach ständiger bundesgerichtlicher Rechtsprechung können sie den Eigentümer jedoch ausnahmsweise enteignungsähnlich treffen, etwa dann, wenn er überbaubares oder grob erschlossenes Land besitzt, das von einem gewässerschutzrechtlichen generellen Kanalisationsprojekt (GKP) erfasst wird, und wenn er für die Erschliessung und Überbauung seines Landes schon erhebliche Kosten aufgewendet hat, wobei diese Voraussetzungen in der Regel kumulativ erfüllt sein müssen. Sodann können weitere besondere Gesichtspunkte des Vertrauensschutzes so gewichtig sein, dass ein Grundstück unter Umständen hätte eingezont werden müssen. Ein Einzonungsgebot kann ferner zu bejahen sein, wenn sich das fragliche Grundstück im weitgehend überbauten Gebiet befindet. Aufgrund solcher Umstände lässt sich annehmen, der Eigentümer habe am massgebenden Stichtag mit hoher Wahrscheinlichkeit mit einer aus eigener Kraft realisierbaren Überbauung seines Landes rechnen dürfen (BGE <ref-ruling> E. 4a S. 433 mit Hinweisen). Dabei ist stets eine Gesamtwürdigung aller rechtlichen und tatsächlichen Gegebenheiten vorzunehmen (<ref-ruling> E. 2.3 S. 221 mit Hinweisen).
2.2 Die Beschwerdeführer gehen davon aus, dass ihr Land bis zur Zuweisung in die Landwirtschaftszone überbaubar und grob erschlossen gewesen sei, weshalb sie die Nichteinzonung enteignungsgleich getroffen habe (vgl. unten, E. 3). Zudem lägen besondere Gesichtspunkte des Vertrauensschutzes vor, die nach der bundesgerichtlichen Rechtsprechung eine materielle Enteignung begründeten (unten, E. 4).
Das Bundesgericht prüft frei, ob die Voraussetzungen einer materiellen Enteignung i.S.v. Art. 5 RPG vorliegen (Art. 95 lit. a und Art. 106 Abs. 1 BGG). Dagegen kann es die Auslegung und Anwendung von kantonalem oder kommunalem Recht nur unter verfassungsrechtlichen Gesichtspunkten und namentlich auf Willkür hin überprüfen; insofern gilt das Rügeprinzip (<ref-law>) mit qualifizierten Begründungsanforderungen (<ref-ruling> E. 1.4.2 S. 254 mit Hinweisen).
Das Bundesgericht ist an den von der Vorinstanz festgestellten Sachverhalt gebunden, soweit dieser nicht offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 BGG beruht (Art. 97 Abs. 1 und Art. 105 BGG). Neue Tatsachen und Beweismittel können nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>).
2.3 Massgeblicher Stichtag für die Frage, ob eine materielle Enteignung vorliegt, ist grundsätzlich das Inkrafttreten des neuen Zonenplans, d.h. die Genehmigung der Zuweisung zur Landwirtschaftszone am 4. April 2006. Dabei darf die im Herbst 1989 für fünf Jahre erlassene Planungszone nicht im Sinne eines Ausschlusses der Überbaubarkeit und damit einer Entschädigungspflicht berücksichtigt werden (<ref-ruling> E. 2.4 S. 222 mit Hinweisen).
3. Zunächst sind die Fragen im Zusammenhang mit der Überbaubarkeit und der Erschliessung der Parzellen der Beschwerdeführer vor ihrer Zuweisung in die Landwirtschaftszone zu prüfen.
3.1 Die Parzellen der Beschwerdeführer lagen gemäss Zonenplan 1975/1978 in der Wohnzone 2. Etappe.
Gemäss Art. 12 Abs. 4 der Bauordnung von 1978 (BO 1978) erstellte die Gemeinde in den Gebieten der zweiten Etappe weder Strassen noch Leitungen. Die Erteilung der Baubewilligung wurde davon abhängig gemacht, dass die Erstellung sämtlicher Erschliessungsanlagen nach den Richtlinien der Gemeinde auf Kosten der Bauherren sichergestellt wurde. Nötigenfalls konnte ein Überbauungsplan erlassen werden, der die kubische und erschliessungstechnische Gestaltung eines zweckdienlich abgegrenzten Gebiets ordnete (Art. 9 Abs. 1 BO 1978). Dieser konnte selbstständig oder auf Begehren eines Grundeigentümers vom Gemeinderat angeordnet werden (Art. 9 Abs. 2 BO 1978).
Die Parzellen der Beschwerdeführer wurden weder vom GKP 1975 noch vom GKP 1986 erfasst. Sie wurden jedoch 1986 in den Kanalisationsrichtplan einbezogen und hätten deshalb an die bestehende Kanalisationsleitung angeschlossen werden können.
3.2 Die Vorinstanzen gingen davon aus, schon das Fehlen eines Überbauungsplans habe der Baureife des Landes entgegengestanden. Die Gemeinde habe wiederholt und schon seit Jahren die bauliche Nutzung des Plangglis von einem Überbauungsplan (inkl. Erschliessungseinrichtungen) abhängig gemacht. Im Übrigen liege das Erfordernis einer Gesamtkonzeption für die Überbauung und Erschliessung des Planggli angesichts der exponierten Lage des Gebietes und der sich daraus ergebenden Anforderungen des Landschafts- und Ortsbildschutzes sowie angesichts der verkehrsmässigen Situation auf der Hand. Die Überbauungsplanung hätte in Abstimmung mit den übrigen Grundeigentümern im Planggli und (namentlich für die übergeordnete Erschliessung) mit der Gemeinde erfolgen und vom Regierungsrat (Art. 11 Abs. 4 BO 1978) bzw. vom Gemeinderat (Art. 11 Abs. 4 BO 1992) genehmigt werden müssen. Unter diesen Umständen sei das Fehlen eines Überbauungsplans als gewichtiges Hindernis zu qualifizieren, das der baulichen Nutzung der Parzellen entgegengestanden habe.
3.2.1 Die Beschwerdeführer halten dem entgegen, dass der Überbauungsplan nach alter BO freiwillig und nicht zwingend gewesen sei; eine entsprechende Anordnung der Gemeinde sei nie erfolgt. Der Regierungsrat habe sich in E. 7.2 seines Entscheids nur mit der Situation der Parzelle Nr. 30 befasst. Das Verwaltungsgericht hätte daher (in E. 4d S. 16 oben) nicht auf diese Erwägung verweisen dürfen; vollends unzutreffend sei der Verweis auf S. 10/11 des vorinstanzlichen Entscheids, wo lediglich Parteivorbringen wiedergegeben würden.
Ein Gesamtüberbauungsplan für das gesamte Gebiet Planggli hätte schon deshalb nicht verlangt werden können, weil die Eigentümer der mittleren Parzelle (19'000 m2) nicht bauwillig gewesen seien. Dagegen hätte die Möglichkeit bestanden, Teilüberbauungspläne für die bauwilligen Eigentümer zu erlassen, namentlich für die (strassenmässig nicht erschlossene) Parzelle Nr. 30 (30'000 m2). Da die Parzellen der Beschwerdeführer bereits grob erschlossen gewesen seien, wäre insofern ein (Teil-)Überbauungsplan nicht erforderlich gewesen bzw. hätte sich auf Fragen der Gestaltung und der Feinerschliessung beschränkt.
3.2.2 Der Verweis des Verwaltungsgerichts auf E. 7.2 des regierungsrätlichen Entscheids ist durch die Angabe der Erwägung und des Themas ausreichend identifiziert, weshalb die unrichtige Bezeichnung der Seitenzahl unerheblich ist.
In E. 7.2. belegte der Regierungsrat anhand der Akten, dass der Gemeinderat für Bauvorhaben im Planggli stets eine gesamthafte Planung von Überbauung und Erschliessung für das gesamte Gebiet Planggli verlangte. Angesichts des Erfordernisses einer umfassenden, parzellenübergreifenden Planung kommt es nicht darauf an, ob sich die Zitate auf die Parzellen der Beschwerdeführer oder die Parzelle Nr. 30 des Handwerkerkonsortiums bezogen.
Der Regierungsrat hat festgestellt, dass ein Überbauungsplan auch gegenüber einem aktuell bauunwilligen Grundeigentümer hätte angeordnet werden können (E. 7.2 S. 15 oben). Die Beschwerdeführer legen nicht dar, inwiefern diese Aussage auf einer willkürlichen Auslegung des damaligen Baurechts beruht.
Sie belegen auch nicht, dass der Gemeinderat auf das Erfordernis eines Gesamtüberbauungsplans für das Planggli verzichtet und sich mit einem Teilüberbauungsplan begnügt hätte. Im Protokoll vom 14. Februar 2001, auf das sie sich berufen, schlug der Vertreter der Grundeigentümer (und nicht der Gemeinde) Teilüberbauungspläne für einzelne Parzellen vor. Der Ortsplaner erachtete ein solches Vorgehen nur für möglich, sofern zunächst ein grobes Erschliessungs- und Gestaltungskonzept über das ganze Gebiet erstellt worden sei, während der Gemeindepräsident die Auffassung vertrat, die Gestaltung müsse das ganze Gebiet erfassen. Dementsprechend beantragte der Gemeinderat an der Ortsgemeindeversammlung, für das Gebiet Planggli vom 18. Mai 2001 eine Überbauungsplanpflicht im Nutzungsplan festzusetzen; dies bedeute, dass zunächst im Rahmen eines Überbauungsplanes ein Gesamtgestaltungs- und Erschliessungskonzept erarbeitet werden müsse (Protokoll S. 10).
3.2.3 Das Erfordernis eines Überbauungs- oder Quartierplans spricht grundsätzlich gegen die Annahme, ein Grundstück sei baureif (<ref-ruling> E. 5d S. 461 f.); allerdings kommt es stets auf die konkreten Umstände und die effektive Tragweite an, welche diese Hürde nach kantonalem Recht besitzt (<ref-ruling> E. 2.4.2 S. 159). Hierfür sind insbesondere die Erschliessungsverhältnisse zu berücksichtigen.
3.3 Das Verwaltungsgericht ging - wie schon der Regierungsrat (E. 7.3) - davon aus, das Gebiet Planggli sei strassenmässig ungenügend erschlossen: Weder der auf der Dammkrone des Niederurnerbachs verlaufende Naturweg noch die für Land- und Forstwirtschaftszwecke gebaute Strasse im hinteren Planggli mit dem Charakter einer Bergstrasse, noch die beiden schmalen, über den Niederurnerbach führenden Bücken genügten den Ansprüchen an eine zeitgemässe Bauzonenerschliessung. Im heutigen Ausbaustandard sei die Verkehrssicherheit aller Benützer nicht gewährleistet. Da Brücke und Strasse nicht im Eigentum der Beschwerdeführer stehen, hätten diese die strassenmässige Erschliessung nicht aus eigener Kraft herbeiführen können. Im Übrigen hätte die erforderliche Revision des Erschliessungsplanes von der Gemeindeversammlung und der Überbauungsplan vom Gemeinderat beschlossen werden müssen.
3.3.1 Die Beschwerdeführer sind dagegen der Auffassung, ihre Parzellen seien (im Gegensatz zur Parzelle Nr. 30) strassenmässig durch die bestehende geteerte Strasse Hädiloch-Gfell-Morgenholz genügend erschlossen; ein Ausbau der Strasse wäre nicht nötig. Hierfür verweisen sie auf den Augenschein des Bundesgerichts im Jahre 1977. Im Übrigen hätte ein allfälliger Ausbau der Strasse oder der Brücke von den Grundeigentümern selbst finanziert werden müssen, weshalb kein politischer Beschluss der Gemeindeversammlung erforderlich gewesen wäre. Für Projektierung und Bewilligung wäre vielmehr allein der Gemeinderat zuständig gewesen, der die Überbauung des Planggli stets unterstützt habe. Schliesslich sei Anfang der 90er Jahre die Feldstrasse, als bislang fehlendes Glied für die grossräumige Erschliessung des Planggli ab der Hauptstrasse (über Feldstrasse, Falletenbachstrasse, Altersheimstrasse in Richtung Hädiloch-Gfell-Morgenholz) erstellt worden.
3.3.2 Zunächst ist festzuhalten, dass es nach den insoweit verbindlichen Feststellungen der Vorinstanz (vgl. oben, E. 3.2) eine Überbauungs- und Erschliessungsplanung für das gesamte Gebiet Planggli bedurft hätte. Insofern kann es nicht einzig auf die strassenmässige Erschliessung der Parzellen der Beschwerdeführer ankommen. Diese räumen selbst ein, dass jedenfalls die Parzelle Nr. 30 zum Stichtag strassenmässig nicht erschlossen war und hierfür die Strasse entlang dem Bach hätte ausgebaut werden müssen. Insofern hätten sich in der Überbauungsplanung gewichtige Fragen der verkehrsmässigen Gesamterschliessung des Planggli gestellt, die möglicherweise auch eine Mitwirkung der Stimmberechtigten erfordert hätten.
3.3.3 Im Übrigen lassen auch die Feststellungen des Verwaltungsgerichts zur strassenmässigen Erschliessung der Parzellen der Beschwerdeführer keine offensichtlichen Mängel bzw. Willkür erkennen:
Zwar ging das Bundesgericht im Urteil vom 8. März 1978 (E. 4c S. 7) davon aus, dass wesentliche Erschliessungsprobleme hinsichtlich der Überbauung von Parzelle Nr. 28 "eher zu verneinen" seien, weil diese Parzelle - anders als die Parzelle Nr. 30 - bereits durch eine Korporationsstrasse erschlossen sei. Für die damals streitige (altrechtliche) Zonenzuteilung war lediglich die Frage nach der Erschliessbarkeit der Parzellen zu beantworten; ob die Parzellen bereits erschlossen waren, wurde deshalb vom Bundesgericht (wie bereits die Formulierung "eher" zeigt) nicht abschliessend beurteilt. Aus dem Augenscheinsprotokoll vom 18. November 1977 ergibt sich nichts anderes. Immerhin wird dort (S. 3) zur Korporationsstrasse festgehalten, dass diese für den öffentlichen Verkehr gesperrt sei und vor der Brücke nur mit grossem Aufwand (Abgraben und Stützmauern) verbreitert werden könnte.
Das Verwaltungsgericht hielt fest, dass es sich bei der ehemaligen Korporationsstrasse Hädiloch-Gfell-Morgenholz um eine Land- und Forstwirtschaftsstrasse handle, auf der Autos nur an dafür bestimmten Stellen problemlos kreuzen könnten und die über keine Trennung von Fahr- und Gehbereich verfüge, weshalb sie vom Ausbaustandard her für die Erschliessung einer Wohnüberbauung nicht genüge. Die Beschwerdeführer setzen sich mit den Erschliessungsanforderungen des Glarner Rechts nicht auseinander und legen nicht dar, inwiefern die Erwägungen der Vorinstanz willkürlich sein sollen. Dies ist auch nicht ersichtlich.
3.4 Der Rechtsvorgänger der Beschwerdeführer zahlte im Jahr 1969 einen Beitrag von Fr. 4'410 zur Erstellung der Korporationsstrasse Hädiloch-Gfell-Morgenholz. Diese wurde jedoch nicht zur Erschliessung einer Bauzone, sondern als "Güterstrasse" für die land- und forstwirtschaftliche Erschliessung erstellt. Die übrigen von den Beschwerdeführern geltend gemachten Kosten (u.a. für Planung und Projektierung) sind nicht baulich in Erscheinung getreten und können daher vorliegend nicht berücksichtigt werden (vgl. <ref-ruling> nicht publ. E. 5.2 mit Hinweisen; zur Frage der Vertrauenshaftung vgl. unten E. 4.4)
3.5 Zusammenfassend ist festzuhalten, dass das Gebiet Planggli, einschliesslich der Parzellen der Beschwerdeführer, am Stichtag nicht über eine genügende Zufahrt verfügte und damit nicht grob erschlossen war. Das Gebiet war auch nicht baureif, weil ein Überbauungsplan fehlte, in dem die Erschliessung und Überbauung des gesamten Gebiets hätte geregelt werden müssen. Dieser hätte nicht von den Beschwerdeführern allein ausgearbeitet werden können, sondern nur in Abstimmung mit den übrigen Grundeigentümern im Planggli sowie der Gemeinde. Den Beschwerdeführern sind auch keine erheblichen Kosten im Zusammenhang mit der Erschliessung und Überbauung ihrer Parzellen entstanden.
Damit sprechen die Gesichtspunkte der Baureife und Erschliessung gegen eine materielle Enteignung. Insofern kann offen bleiben, ob auch die fehlende Erfassung der Parzellen im GKP gegen die Annahme einer materiellen Enteignung spricht.
Offen bleiben kann ebenfalls, ob die Parzellen der Beschwerdeführer steinschlags- und erdrutschgefährdet sind und (wie die Gemeinde geltend macht) schon aus diesem Grund nicht hätten überbaut werden dürfen.
4. Zu prüfen ist noch, ob besondere Gesichtspunkte des Vertrauensschutzes eine materielle Enteignung begründen können.
4.1 Das Verwaltungsgericht ging davon aus, dass die Beschwerdeführer nach Inkrafttreten des RPG am 1. Januar 1980 damit rechnen mussten, dass die Zuweisung ihrer Parzellen zur seinerzeitigen Bauzone zweiter Etappe (gemäss Zonenplan 1978) überprüft werde und das Risiko bestehe, dass ihr Land nicht mehr überbaubar sein werde, nachdem der damalige kantonale Richtplan für Niederurnen zu grosse Bauzonen festgestellt hatte. Zwar habe das Verhalten des Gemeinderats bei den Beschwerdeführern gewisse Hoffnungen wecken können; dasselbe gelte für die Tatsache, dass der Gemeinderat 1986 für die Liegenschaften im Planggli ein Kaufangebot unterbreitete, welchem unbestrittenermassen Baulandpreise zugrunde lagen. Indessen könne darin keine enteignungsrechtlich relevante Vertrauensgrundlage bezüglich der Zuweisung des Grundstückes zur Bauzone erblickt werden. Der politische Prozess, welcher zum Erlass einer Nutzungsordnung führe, sei naturgemäss mit Unsicherheiten behaftet. Die Beschwerdeführer hätten auch keine Dispositionen für die Erschliessung und Überbauung ihrer Parzellen im Vertrauen auf deren Einzonung getroffen.
4.2 Die Beschwerdeführer machen geltend, auch ohne Vorliegen einer konkreten Zusicherung hätten sie vorliegend mit der Einweisung ihrer Parzellen in die Bauzone rechnen dürfen. Sie berufen sich auf den Bundesgerichtsentscheid vom 8. März 1978, der den Baulandcharakter ihrer Parzellen bestätigt habe. 1986 seien die Grundstücke in die Kanalisationsrichtplanung aufgenommen worden; noch in den 90'er Jahren habe die Gemeinde die Feldstrasse gebaut, welche die Erschliessung des Planggli ab der Hauptstrasse ermögliche. Der Gemeinderat habe stets Anträge zugunsten der Zuweisung des Planggli zur Bauzone gestellt. Auch nach Erlass der Planungszone 1989 habe er die Beschwerdeführer im Glauben gelassen, dass es nur um eine "Denkpause" gehe und die Überbaubarkeit ihrer Parzellen nicht in Frage gestellt werde. Die Beschwerdeführer hätten erhebliche Investitionen getätigt, um die Projektierung bis zum Baugesuch voranzutreiben; dies hätten sie offensichtlich nicht getan, wenn sie nicht in guten Treuen von der Überbaubarkeit ihrer Parzellen ausgehen konnten. Aufgrund dieser Abfolge der Ereignisse müsse aus Vertrauensschutzgründen eine materielle Enteignung bejaht werden.
4.3 Der Entscheid des Bundesgerichts vom 8. März 1978 erging vor Inkrafttreten des RPG zum alten Recht; das Bundesgericht prüfte damals auf Autonomiebeschwerde der Gemeinde lediglich, ob der Regierungsratsentscheid willkürlich sei. Nachdem das RPG in Kraft getreten war und eine Begrenzung der Bauzonen auf das voraussichtlich innert 15 Jahren benötigte und erschlossene Mass verlangte, mussten die Beschwerdeführer damit rechnen, dass auch im Gebiet Planggli eine Rückzonung erfolgen könnte. Dies galt erst recht, nachdem 1989 eine Planungszone verfügt worden war.
Zwar trifft es zu, dass der Gemeinderat die Zuweisung des Plangglis zu einer Bauzone stets befürwortete. Zuständig für den Beschluss der Zonenplanung war jedoch die Gemeindeversammlung. Die Beschwerdeführer durften deshalb nicht darauf vertrauen, dass sich der Antrag des Gemeinderats auf Zuweisung des Plangglis zur Wohnzone durchsetzen werde.
Daran ändert auch die Aufnahme der Parzellen der Beschwerdeführer in die Kanalisationsrichtplanung nichts: Diese war auf einen Zeithorizont von 50 Jahren ausgelegt (vgl. Technischer Bericht vom Juli 1985 S. 2) und überstieg damit den Planungshorizont gemäss Art. 15 RPG beträchtlich. Eine Aufnahme in das (auf die Bauzonen ausgerichtete) GKP ist weder 1975 noch 1986 erfolgt.
4.4 Etwas anderes könnte allenfalls für die Zeitspanne zwischen dem Rückweisungsentscheid des Regierungsrats vom 21. Oktober 1997 (mit dem die Gemeinde Niederurnen angewiesen wurde, das Planggli einer Bauzone zuzuweisen) und dem Entscheid vom 10. April 2001 angenommen werden (mit dem der Regierungsrat klarstellte, dass auch abweichende Anträge an die Ortsgemeindeversammlung zulässig seien): In diesem Zeitraum durften die Beschwerdeführer grundsätzlich davon ausgehen, dass ihre Parzellen, entsprechend der unangefochtenen Anweisung des Regierungsrats, einer Wohnzone zugewiesen würden. Erhebliche Aufwendungen der Beschwerdeführer sind jedoch für diesen Zeitraum nicht nachgewiesen:
Die von den Beschwerdeführern geltend gemachten Aufwendungen im Zusammenhang mit der Bildung eines Baukonsortiums sowie Planungs- und Projektierungskosten für ein 1990 eingereichtes Baugesuch (insbes. Vorabklärungen von Fr. 15'000.-- und Architekturleistungen von Fr. 289'685.--) fielen im Zeitraum 1988 bis 1990 an, nach Ablauf der Übergangsfrist gemäss Art. 35 Abs. 1 lit. b RPG und kurz vor bzw. nach Erlass der Planungszone 1989. Damals mussten die Beschwerdeführer mit einer Änderung der Zonenordnung rechnen.
Im Übrigen begründen nutzlos gewordene Planungs- und Projektierungskosten nach der oben (E. 3.4) zitierten Rechtsprechung grundsätzlich keinen Anspruch auf Entschädigung wegen materieller Enteignung; vielmehr steht dem Bauherrn unter besonderen Voraussetzungen (vgl. dazu <ref-ruling> E. 4a S. 237 mit Hinweis) ein Anspruch auf Aufwendungsersatz gegenüber dem Gemeinwesen zu.
Die Beschwerdeführer rügen in diesem Zusammenhang eine Verletzung des rechtlichen Gehörs, weil das Verwaltungsgericht in E. 5a auf eine falsche Seite ihrer Beschwerdeschrift verwiesen und diese offensichtlich mit der Beschwerdeschrift des Handwerkerkonsortiums verwechselt habe. Aus den Erwägungen des Verwaltungsgerichts geht jedoch hervor, dass es die Vorbringen der Beschwerdeführer zu ihren nutzlos gewordenen Investitionen zur Kenntnis genommen hat, diese aber nicht für relevant erachtete, weil sie nicht baulich in Erscheinung getreten seien. Insofern liegt keine Verletzung des rechtlichen Gehörs vor.
5. Schliesslich machen die Beschwerdeführer geltend, dass mit der Nichteinzonung ihrer Grundstücke eine derart krasse Rechtsungleichheit entstanden sei, dass eine Entschädigung wegen Sonderopfers geboten sei. Sie machen geltend, es seien zahlreiche Parzellen im landwirtschaftlichen Vorzugsland zur Bauzone gewiesen worden, die vorher in der Landwirtschaftszone gelegen hätten; dagegen seien die Parzellen der Beschwerdeführer die einzigen, die vom Bauland in die Landwirtschaftszone gekommen seien. Die Beschwerdeführer werfen der Gemeinde in diesem Zusammenhang vor, sich selbst bevorzugt zu haben, indem vorrangig gemeindeeigene Parzellen im Gebiet Feld eingezont worden seien.
Die Beschwerdeführer hatten bereits mit ihrer staatsrechtlichen Beschwerde vom 17. Januar 2005 erfolglos geltend gemacht, dass die Nichteinzonung ihrer Grundstücke dem Rechtsgleichheitsgebot widersprochen habe (Urteil 1P.21 und 23/2005 E. 4, insbes. 4.2 und E. 5). Diese Frage ist somit im vorliegenden Verfahren nicht erneut zu prüfen.
6. Nach dem Gesagten ist die Beschwerde abzuweisen. Bei diesem Ausgang des Verfahrens tragen die Beschwerdeführer die Gerichtskosten (<ref-law>). Die Gemeinde Glarus Nord obsiegt in ihrem amtlichen Wirkungskreis und hat daher keinen Anspruch auf eine Parteientschädigung (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 5'000.-- werden den Beschwerdeführern auferlegt.
3. Es werden keine Parteientschädigungen zugesprochen.
4. Dieses Urteil wird den Beschwerdeführern, der Gemeinde Glarus-Nord, dem Regierungsrat und dem Verwaltungsgericht, I. Kammer, des Kantons Glarus sowie dem Bundesamt für Raumentwicklung schriftlich mitgeteilt.
Lausanne, 8. Februar 2012
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Die Gerichtsschreiberin: Gerber