Sachverhalt:
A. X._ erwarb am 24. Oktober 1988 die Parzelle Nr. 2545 im "Wagliseibode" in Flühli, welche nach dem vom Regierungsrat des Kantons Luzern am 19. Januar 1981 genehmigten Teilzonenplan "Wagliseibode" vom 10. Oktober 1977 in einer Bauzone lag. Im Jahr 1989 leitete die Gemeinde Flühli eine Revision ihrer Ortsplanung ein. Die kommunalen Behörden verfolgten die Absicht, das Gelände im Bereich "Wagliseibode" einer Bauzone zweiter Etappe zuzuweisen und diese Zone mit einer Gestaltungs- oder Bebauungspflicht zu belegen. Das eingeleitete Nutzungsplanverfahren fand in der Folge wegen der Kollision mit den Bestrebungen des Moorschutzes keinen Abschluss.
B. Entgegen der ursprünglichen Absichten der Behörden wurde im Gebiet "Wagliseibode" kein Moorschutzbiotop von nationaler Bedeutung ausgeschieden. Mit Erlass der Moorlandschaftsverordnung vom 1. Mai 1996 (Moorlandschaftsverordnung; SR 451.35) wurde das Gebiet jedoch ins Bundesinventar der Moorlandschaften von besonderer Schönheit und von nationaler Bedeutung aufgenommen. Am 5. August 1996 legte das Amt für Natur- und Landschaftsschutz des Kantons Luzern zudem einen Schutzplan auf, in welchem das Gebiet, in dem sich die Parzelle Nr. 2545 befindet, als Moorschutzgebiet von regionaler Bedeutung ausgeschieden wurde. Auf eine von X._ erhobene Einsprache hin wurde das Moorschutzgebiet von regionaler Bedeutung im südöstlichen Bereich des Geländes um ca. 950 m2 verkleinert. Der grössere Teil der Parzelle Nr. 2545 wurde jedoch mit der vom Regierungsrat des Kantons Luzern beschlossenen Verordnung zum Schutz der Moore vom 2. November 1999 (Moorschutzverordnung; SRL Nr. 712c) dem Moorschutzgebiet (Zone "Mahd") zugeteilt. Auf sämtlichen Flächen, die von der kantonalen Moorschutzverordnung erfasst sind, dürfen weder Bauten und Anlagen errichtet noch Terrain- und Bodenveränderungen vorgenommen werden. Gegen die auf die kantonale Verordnung zum Schutz der Moore gestützte Unterschutzstellung des grösseren Teils der Parzelle Nr. 2545 erhob X._ Beschwerde an das Verwaltungsgericht des Kantons Luzern, welches die Beschwerde am 21. Mai 2002 abwies, soweit es darauf eintrat. Eine dagegen erhobene Beschwerde wies das Bundesgericht am 9. April 2003 ab (Urteil 1A.129/2002).
C. Am 26. November 2007 stimmte die Gemeindeversammlung von Flühli einem Zonenplan "Wagliseibode" zu. Der Regierungsrat des Kantons Luzern genehmigte diesen Zonenplan am 26. August 2008. Gegen den Nutzungsplan gelangten Pro Natura (Schweizerischer Bund für Naturschutz), Pro Natura Luzern sowie drei Privatpersonen ans Verwaltungsgericht und gegen dessen abweisenden Entscheid ans Bundesgericht. Das Bundesgericht hiess die Beschwerde am 25. Oktober 2010 im Wesentlichen gut und hob den Entscheid des Verwaltungsgerichts insoweit auf, als er den Einbezug der 950 m2 grossen Südostecke der Parzelle Nr. 2545 in die Bauzone bestätigte (Urteil 1C_43/2010).
D. Bereits zuvor, am 25. Januar 2005, stellte X._ bei der Schätzungskommission des Kantons Luzern den Antrag, der Staat Luzern sei zu verpflichten, ihm wegen des Entzugs der baulichen Nutzungsmöglichkeit auf dem mit der kantonalen Verordnung zum Schutz der Moore unter Schutz gestellten Teil der Parzelle Nr. 2545 unter dem Titel "materielle Enteignung" eine Entschädigung in der Höhe von Fr. 1'538'400.-- zuzüglich Zins zu 5% seit dem 1. Dezember 1999 zu bezahlen. Das Entschädigungsbegehren bezog sich somit ausschliesslich auf den grösseren Teil der Parzelle Nr. 2545, der im Gegensatz zur 950 m2 grossen Südostecke nicht aus dem Moorschutzgebiet von regionaler Bedeutung entlassen worden war. Am 25. September 2008 wies die Schätzungskommission des Kantons Luzern das Entschädigungsgesuch ab. Eine von X._ dagegen erhobene Beschwerde wies das Verwaltungsgericht am 11. Mai 2011 ebenfalls ab.
E. Gegen das Urteil des Verwaltungsgerichts vom 11. Mai 2011 gelangt X._ mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 10. Juni 2011 ans Bundesgericht. Er beantragt, der angefochtene Entscheid sei aufzuheben und das Verfahren zur Festsetzung der Enteignungsentschädigung an die Vorinstanzen zurückzuweisen. Eventualiter sei das Verfahren zwecks Ergänzung des Beweisergebnisses und der Beweiswürdigung betreffend die Voraussetzungen der materiellen Enteignung an die Vorinstanzen zurückzuweisen.
F. Die Vorinstanz beantragt unter Hinweis auf die Erwägungen des angefochtenen Urteils die Abweisung der Beschwerde. Die Schätzungskommission beantragt ebenfalls die Abweisung der Beschwerde. Das Bau-, Umwelt- und Wirtschaftsdepartement des Kantons Luzern beantragt im Namen des Regierungsrats, die Beschwerde sei abzuweisen, soweit darauf eingetreten werden könne. Das Bundesamt für Raumentwicklung verzichtet auf eine Vernehmlassung. Mit Eingaben vom 18. und 20. Oktober 2011 hält der Beschwerdeführer an der Beschwerde fest.
Erwägungen:
1. Mit dem Entscheid vom 11. Mai 2011 hat das Verwaltungsgericht eine Entschädigungspflicht aus materieller Enteignung verneint. Angefochten ist somit ein kantonal letztinstanzlicher Endentscheid in einer öffentlich-rechtlichen Angelegenheit (vgl. Art. 82 lit. a, Art. 86 Abs. 1 lit. d und Abs. 2 sowie Art. 90 BGG). Der Beschwerdeführer ist als Adressat des angefochtenen Entscheids und direkt Betroffener zur Beschwerde legitimiert (vgl. Art. 89 Abs. 1 BGG). Die übrigen Sachurteilsvoraussetzungen geben zu keinen Bemerkungen Anlass. Auf die Beschwerde ist einzutreten.
2. Der rechtlich relevante Sachverhalt ergibt sich mit hinreichender Klarheit aus den Akten, weshalb der Antrag des Beschwerdeführers auf Durchführung eines Augenscheins abzuweisen ist.
3. Der Beschwerdeführer macht geltend, die auf die kantonale Verordnung zum Schutz der Moore vom 2. November 1999 gestützte Unterschutzstellung des grösseren Teils der Parzelle Nr. 2545 führe zu einer materiellen Enteignung gemäss Art. 26 Abs. 2 BV und Art. 5 Abs. 2 RPG (SR 700).
3.1 Art. 5 Abs. 2 RPG hält - ebenso wie Art. 26 Abs. 2 BV - als Grundsatz fest, dass volle Entschädigung zu leisten ist, wenn Planungsmassnahmen zu Eigentumsbeschränkungen führen, die einer Enteignung gleichkommen. Dies ist der Fall, wenn einem Eigentümer der bisherige oder ein voraussehbarer künftiger Gebrauch seines Grundeigentums untersagt oder besonders stark eingeschränkt wird, weil ihm eine aus dem Eigentumsinhalt fliessende wesentliche Befugnis entzogen wird (erste Tatbestandsvariante). Geht der Eingriff weniger weit, so kann ausnahmsweise eine Eigentumsbeschränkung einer Enteignung gleichkommen, falls ein einziger oder einzelne Grundeigentümer so getroffen werden, dass ihr Opfer gegenüber der Allgemeinheit unzumutbar erscheint und es mit der Rechtsgleichheit nicht vereinbar wäre, wenn hierfür keine Entschädigung geleistet würde (zweite Tatbestandsvariante; sog. Sonderopfer). In beiden Fällen ist die Möglichkeit einer zukünftigen besseren Nutzung der Sache nur zu berücksichtigen, wenn im massgebenden Zeitpunkt anzunehmen war, sie lasse sich mit hoher Wahrscheinlichkeit in naher Zukunft verwirklichen. Unter besserer Nutzung eines Grundstücks ist in der Regel die Möglichkeit seiner Überbauung zu verstehen (BGE 131 II 728 E. 2 S. 730; 125 II 431 E. 3a S. 433; je mit Hinweisen).
3.2 Eine Entschädigungspflicht besteht unter bestimmten Voraussetzungen im Falle einer Auszonung, das heisst, wenn ein Grundstück durch einen bundesrechtskonformen Nutzungsplan der Bauzone zugeteilt worden war und später aufgrund einer Zonenplanrevision einer Nichtbauzone zugeteilt wird. Grundsätzlich entschädigungslos bleibt dagegen die sogenannte Nichteinzonung eines Grundstücks. Eine Nichteinzonung wird angenommen, wenn bei der erstmaligen Schaffung einer raumplanerischen Grundordnung, welche den verfassungsrechtlichen und gesetzlichen Anforderungen entspricht, eine Liegenschaft keiner Bauzone zugewiesen wird. Dies gilt nicht nur bei der Revision altrechtlicher, vor Inkrafttreten des RPG erlassener Zonenpläne, sondern auch bei der Anpassung von Zonenplänen, die zwar unter der Herrschaft des RPG in Kraft getreten sind, aber materiell nicht auf die bundesrechtlichen Planungsgrundsätze ausgerichtet waren (BGE 131 II 728 E. 2.1 S. 730 f. mit Hinweisen). Eine Nichteinzonung löst grundsätzlich auch dann keine Entschädigungspflicht aus, wenn die in Frage stehenden Flächen nach dem früheren, der Revision des Bodenrechts nicht entsprechenden Recht überbaut werden konnten (BGE 125 II 431 E. 3b S. 433 mit Hinweisen).
4. Die Unterschutzstellung der im Eigentum des Beschwerdeführers stehenden Fläche und das damit verbundene Bauverbot stützen sich auf die kantonale Moorschutzverordnung vom 2. November 1999 sowie den Schutzplan M4, der Bestandteil dieser Verordnung bildet (vgl. § 2 Abs. 3 sowie § 4 Abs. 2 der Verordnung). Die Schutzvorschriften der kantonalen Moorschutzverordnung und die dazugehörigen Schutzpläne bilden einen Nutzungsplan im Sinn von Art. 14 RPG (vgl. Urteil 1A.129/2002 vom 9. April 2003 E. 1.1). Weil der kantonale Schutzplan M4 parzellenscharf abgefasst worden ist und einen grossen Teil des Grundstücks des Beschwerdeführers klar erkennbar der Schutzzone "Mahd" zuordnet, hat die Gemeinde Flühli die unter Schutz gestellte Fläche zwingend dem Nichtbaugebiet zuzuweisen, ohne dass ihr diesbezüglich ein Spielraum offen bleibt. Unter diesen Umständen erweist sich das mit der Unterschutzstellung verbundene Bauverbot für den Beschwerdeführer als unmittelbar verbindlich. Hinsichtlich der Folgen für ihn ist die zu beurteilende Unterschutzstellung vergleichbar mit dem Fall, in dem ein Grundstück im Zuge der Revision einer kommunalen Nutzungsplanung nicht dem Baugebiet zugeordnet wird. Für die Beurteilung der Frage, ob die Unterschutzstellung zu einer materiellen Enteignung geführt hat, können deshalb die Grundsätze herangezogen werden, die das Bundesgericht für diese Fälle entwickelt hat.
5. Gemäss dem Teilzonenplan "Wagliseibode" vom 10. Oktober 1977 lag das Grundstück des Beschwerdeführers in einer Bauzone. Die Vorinstanz hat im angefochtenen Entscheid ausgeführt, der Regierungsrat des Kantons Luzern habe diesen Plan zwar am 19. Januar 1981 und damit nach Inkrafttreten des RPG genehmigt, der Plan entspreche aber in verschiedener Hinsicht nicht den Vorgaben des RPG (vgl. dazu auch das Urteil 1A.129/2002 vom 9. April 2003 E. 3.4). Weil das Grundstück des Beschwerdeführers auch in der Folge nie einer bundesrechtskonformen Bauzone zugewiesen worden sei, habe die Unterschutzstellung nicht zu einer Auszonung im Sinne der bundesgerichtlichen Rechtsprechung geführt. Dem ist zuzustimmen, wobei diesbezüglich auf die Begründung im angefochtenen Entscheid verwiesen werden kann. Der Beschwerdeführer macht vor Bundesgericht denn auch nicht mehr geltend, der Teilzonenplan "Wagliseibode" vom 10. Oktober 1977 entspreche den Vorgaben des RPG bzw. die Unterschutzstellung seines Grundstücks habe eine Auszonung im Sinne der bundesgerichtlichen Rechtsprechung bewirkt.
6. Der Beschwerdeführer ist jedoch der Ansicht, im Hinblick auf die vom Bundesgericht für die Nichteinzonung von Grundstücken entwickelte Rechtsprechung habe er wegen der Unterschutzstellung seines Grundstücks Anspruch auf eine Entschädigung.
6.1 Nichteinzonungen treffen den Eigentümer nur ausnahmsweise enteignungsähnlich, etwa dann, wenn er überbaubares oder grob erschlossenes Land besitzt, das von einem gewässerschutzrechtlichen generellen Kanalisationsprojekt erfasst wird, und wenn er für die Erschliessung und Überbauung seines Landes schon erhebliche Kosten aufgewendet hat, wobei diese Voraussetzungen in der Regel kumulativ erfüllt sein müssen. Sodann können weitere besondere Gesichtspunkte des Vertrauensschutzes so gewichtig sein, dass ein Grundstück unter Umständen hätte eingezont werden müssen. Ein Einzonungsgebot kann ferner zu bejahen sein, wenn sich das fragliche Grundstück im weitgehend überbauten Gebiet befindet. Eine Nichteinzonung ist somit ausnahmsweise mit der Entschädigungspflicht verbunden, wenn der Grundeigentümer am massgeblichen Stichtag im Ergebnis mit hoher Wahrscheinlichkeit mit einer aus eigener Kraft realisierbaren Überbauung seines Landes rechnen durfte. Für die Beurteilung, ob dies der Fall war, sind alle rechtlichen und tatsächlichen Gegebenheiten zu würdigen, wobei in erster Linie auf die rechtliche Ausgangslage abzustellen ist. Massgeblicher Stichtag für diese Beurteilung ist das Inkrafttreten des Planungsakts, der die materielle Enteignung bewirken soll. Geht dem definitiven Eingriff eine provisorische Massnahme voraus, ist zwar auf den Zeitpunkt des Inkrafttretens des definitiven Eingriffs abzustellen; mit der provisorischen Massnahme darf indessen nicht zum Nachteil des Betroffenen ein Ausschluss der Entschädigungspflicht begründet werden (BGE 132 II 218 E. 2.2 ff. S. 221 f. mit Hinweisen).
6.2 Der Beschwerdeführer bringt nicht (mehr) vor, der unter Schutz gestellte Teil des Grundstücks habe sich im weitgehend überbauten Gebiet befunden. Er macht aber geltend, die unter Schutz gestellte Fläche sei vor der Unterschutzstellung voll erschlossen gewesen und von einem gewässerschutzrechtskonformen generellen Kanalisationsprojekt erfasst worden. Sein Rechtsvorgänger habe schon erhebliche Kosten für die Erschliessung und Überbauung des Grundstücks aufgewendet, was ihm anzurechnen sei. In Verletzung seines Anspruchs auf rechtliches Gehör hätten die Schätzungskommission und die Vorinstanz diese Umstände nicht vollständig gewürdigt. Für eine Entschädigungspflicht sprächen weitere besondere Gesichtspunkte des Vertrauensschutzes, namentlich wiederholte Zusicherungen, welche er von der Gemeinde und vom Kanton hinsichtlich der Überbaubarkeit seines Landes erhalten habe, sowie insbesondere der Umstand, dass die Gemeinde für drei Grundstücke, die von der Parzelle Nr. 2545 abgetrennt und verkauft worden seien, Baubewilligungen erteilt habe.
7. Dem angefochtenen Entscheid kann entnommen werden, dass die Vorinstanz eine Entschädigungspflicht des Kantons offenbar schon deshalb ausschloss, weil die kantonale Moorschutzverordnung erst nach dem Ablaufen der Frist zur Anpassung der Nutzungsplanung, dem 1. Januar 1988, in Kraft getreten ist und der Beschwerdeführer das fragliche Grundstück ausserdem erst am 24. Oktober 1988 erworben hat. Massgeblicher Stichtag für die Beurteilung der Frage, ob der Beschwerdeführer mit einer Überbauung seines Grundstücks rechnen durfte, ist nach Ansicht der Vorinstanz der 1. Januar 1988.
Zwar hatten die Kantone gemäss Art. 35 Abs. 1 lit. b RPG nach dem Erlass des RPG dafür zu sorgen, dass die Nutzungspläne spätestens acht Jahre nach Inkrafttreten des Gesetzes, also spätestens am 1. Januar 1988, vorliegen. Dass für die Gemeinde Flühli bis zum Zeitpunkt der Unterschutzstellung des Grundstücks durch den Kanton Luzern keine dem RPG entsprechende Nutzungsplanung bestand, heisst indessen nur, dass das Grundstück des Beschwerdeführers, welches sich nicht im weitgehend überbauten Gebiet befand, seit dem 1. Januar 1988 in einer Zone lag, die als Nichtbauzone zu betrachten war (vgl. Art. 36 Abs. 3 RPG), womit die Unterschutzstellung durch den Kanton jedenfalls nicht als Auszonung im Sinne der bundesgerichtlichen Rechtsprechung einzustufen ist (vgl. E. 5 hiervor). Ein allfälliger Entschädigungsanspruch im Hinblick auf die vom Bundesgericht für die Nichteinzonung von Grundstücken entwickelte Rechtsprechung lässt sich damit allerdings noch nicht ausschliessen (vgl. BGE 125 II 431 E. 4b S. 434). Eine Entschädigungspflicht kann auch nicht schon deshalb verneint werden, weil der Beschwerdeführer das fragliche Grundstück erst am 24. Oktober 1988 gekauft hat. Er ist mit dem Erwerb der Parzelle in die Rechte und Pflichten des Verkäufers eingetreten und hat dessen Rechtspositionen übernommen. Sofern sich für den Voreigentümer in enteignungsrechtlicher Hinsicht eine Vertrauensposition ergeben hat, darf der Beschwerdeführer als Käufer des Grundstücks dasselbe zu seinen Gunsten ableiten (vgl. BGE 125 II 431 E. 5b S. 436).
Der Beschwerdeführer argumentiert, massgeblicher Stichtag für die Beurteilung, ob er mit hoher Wahrscheinlichkeit mit einer aus eigener Kraft realisierbaren Überbauung seines Grundstücks rechnen durfte, sei nicht der Ablauf der Frist von Art. 35 Abs. 1 lit. b RPG oder der Zeitpunkt des Erwerbs. Er leitet seinen Entschädigungsanspruch aus der Unterschutzstellung des Grundstücks durch die kantonale Moorschutzverordnung ab. Massgeblich sei somit der Tag des Inkrafttretens dieser Verordnung, nämlich der 1. Dezember 1999.
8. Die Vorinstanz im angefochtenen Entscheid und die Schätzungskommission im Entscheid vom 25. September 2008 begründeten den fehlenden Anspruch des Beschwerdeführers auf eine Entschädigung unter anderem mit dem bundesrechtlichen Moorlandschaftsschutz. Sie wiesen darauf hin, dass Volk und Stände bereits am 6. Dezember 1987 die Volksinitiative zum Schutze von Mooren ("Rothenthurminitiative") angenommen hatten (vgl. Art. 24sexies Abs. 5 aBV). Die Schätzungskommission führte überdies aus, dass das Grundstück des Beschwerdeführers innerhalb einer Moorlandschaft von besonderer Schönheit und nationaler Bedeutung liege, wo die Errichtung von Bauten nur unter sehr einschränkenden Voraussetzungen möglich sei.
8.1 Gestützt auf Art. 24sexies Abs. 5 aBV (heute: Art. 78 Abs. 5 BV) besteht für Grundstücke in Mooren und Moorlandschaften seit dem 6. Dezember 1987 ein Verbot für den Bau von Anlagen sowie die Vornahme von Bodenveränderungen. Auch wenn hinsichtlich des örtlichen Geltungsbereichs der Verfassungsbestimmung nach deren Erlass noch Konkretisierungsbedarf bestand, ist sie doch unmittelbar anwendbar und zwingend (vgl. BGE 127 II 184 E. 5b/aa S. 192 mit Hinweisen). Der Gesetzgeber hat in Art. 23b des Bundesgesetzes vom 1. Juli 1966 über den Natur- und Heimatschutz (NHG; SR 451) Kriterien für die Umschreibung der Moorlandschaften aufgenommen. Gemäss Art. 23b Abs. 1 NHG ist eine Moorlandschaft eine in besonderem Masse durch Moore geprägte, naturnahe Landschaft, deren moorfreier Teil zu den Mooren in enger ökologischer, visueller, kultureller oder geschichtlicher Beziehung steht. Um von besonderer Schönheit und nationaler Bedeutung zu sein, muss die Moorlandschaft zudem gemäss Art. 23b Abs. 2 NHG in ihrer Art einmalig sein oder in einer Gruppe von vergleichbaren Moorlandschaften zu den wertvollsten gehören. Gemäss Abs. 3 bezeichnet der Bundesrat in Zusammenarbeit mit den Kantonen unter Berücksichtigung der bestehenden Besiedlung und Nutzung die schützenswerten Moorlandschaften von besonderer Schönheit und von nationaler Bedeutung und bestimmt ihre Lage. Gestützt darauf hat der Bundesrat am 1. Mai 1996 die Moorlandschaftsverordnung erlassen. Die bundesrätliche Inventarisierung bezeichnet die Moorlandschaften von besonderer Schönheit und gesamtschweizerischer Bedeutung und konkretisiert damit den örtlichen Geltungsbereich von Art. 24sexies Abs. 5 aBV (heute: Art. 78 Abs. 5 BV).
8.2 Der Beschwerdeführer macht (sinngemäss) geltend, bei der Bezeichnung der Moorlandschaften von besonderer Schönheit und nationaler Bedeutung durch den Bundesrat handle es sich um eine provisorische Massnahme, mit der nicht zu seinem Nachteil ein Ausschluss der Entschädigungspflicht begründet werden dürfe. Der Erlass der Moorlandschaftsverordnung durch den Bundesrat kann allerdings nicht als eine der Ausscheidung des Moorschutzgebiets von regionaler Bedeutung durch den Kanton vorausgehende provisorische Massnahme betrachtet werden, zumal der Moorlandschaftsschutz nach Art. 23b ff. NHG vom Schutz regionaler und lokaler Moorbiotope nach Art. 18b Abs. 1 NHG zu unterscheiden ist. Soweit der bundesrechtliche Moorlandschaftsschutz zum Zeitpunkt der auf die kantonale Moorschutzverordnung gestützten Unterschutzstellung des Grundstücks des Beschwerdeführers einer Überbauung des Grundstücks entgegenstand, ist dies bei der Beurteilung der Frage, ob der Beschwerdeführer Anspruch auf eine Entschädigung aus materieller Enteignung habe, demzufolge zu berücksichtigen.
8.3 Nach Art. 23d Abs. 1 NHG ist die Gestaltung und Nutzung von Moorlandschaften zulässig, soweit sie der Erhaltung der für die Moorlandschaften typischen Eigenheiten nicht widersprechen. Unter dieser Voraussetzung sind nach Abs. 2 insbesondere zulässig: a) die land- und forstwirtschaftliche Nutzung, b) der Unterhalt und die Erneuerung rechtmässig erstellter Bauten und Anlagen, c) Massnahmen zum Schutz von Menschen vor Naturereignissen und d) die für die Anwendung der Buchstaben a-c notwendigen Infrastrukturanlagen. Beim Schutz der Moorlandschaft steht - anders als bei den Mooren - nicht der Biotopschutz im Vordergrund, sondern der landschaftliche Aspekt (BGE 127 II 184 E. 5c S. 195). Dabei ist ein strenger Massstab anzulegen und grundsätzlich jede zusätzliche Beeinträchtigung des Landschaftsbilds zu verhindern. Die Ausdehnung der Bauzone für Wohnbauten ist damit in Moorlandschaften, abgesehen von der Schliessung von Baulücken und der Arrondierung der Bauzonengrenze, grundsätzlich ausgeschlossen (Urteil 1C_43/2010 vom 25. Oktober 2010 E. 3.2).
8.4 Das Grundstück des Beschwerdeführers lag im Zeitpunkt des Erlasses der kantonalen Moorschutzverordnung von 1999 wie das ganze Gebiet "Wagliseibode" unbestrittenerweise in der Moorlandschaft von besonderer Schönheit und nationaler Bedeutung Habkern/Sörenberg (vgl. Anhang 1 Nr. 13 der Moorlandschaftsverordnung). Wie aus den in den Akten liegenden Plänen ersichtlich ist, käme die Überbauung des Grundstücks des Beschwerdeführers nicht der Schliessung einer Baulücke gleich. Auch hätte die Zuweisung des Grundstücks zu einer Bauzone nicht als Arrondierung der Bauzonengrenze bezeichnet werden können. Mit einer Überbauung des Grundstücks des Beschwerdeführers würde das bestehende Siedlungsgebiet auf eine Weise ausgedehnt, wie es in einer Moorlandschaft von besonderer Schönheit und nationaler Bedeutung grundsätzlich unzulässig ist. Der Beschwerdeführer verweist zwar auf drei Baubewilligungen, welche von der Gemeinde Flühli für drei in den Jahren 1999/2000 von seinem Grundstück abgetrennte und verkaufte Parzellen (Nr. 2679-2681) erteilt worden sind, und beruft sich auf den Vertrauensschutz. Diese drei Parzellen bilden nicht Bestandteil des Moorschutzgebiets von regionaler Bedeutung, liegen aber ebenfalls in der Moorlandschaft von besonderer Schönheit und nationaler Bedeutung. Die Frage, ob die Überbauung dieser Parzellen eine in der Moorlandschaft von besonderer Schönheit und nationaler Bedeutung zulässige Schliessung einer Baulücke bzw. Arrondierung der Bauzonengrenze darstellte, ist nicht Gegenstand des vorliegenden Verfahrens. Es kann aber festgehalten werden, dass der Beschwerdeführer wegen der Erteilung dieser drei Baubewilligungen jedenfalls nicht darauf vertrauen konnte, dass die Überbauung seines grossen verbleibenden Grundstücks (ebenfalls) zulässig sei. Die drei genannten Parzellen liegen zwischen einem Erschliessungssträsschen im Süden und dem bestehenden geschlossenen Siedlungsgebiet im Norden. Mit dieser besonderen Situation lässt sich das weitgehend von unüberbautem Gelände umgebene Grundstück des Beschwerdeführers nicht vergleichen.
8.5 Nichts zu seinen Gunsten ableiten kann der Beschwerdeführer aus seinem Einwand, die konkreten Eigentumsbeschränkungen für Eigentümer von Grundstücken in einer Moorlandschaft von besonderer Schönheit und nationaler Bedeutung würden sich im Detail letztlich erst aus den kantonalen und kommunalen Schutzmassnahmen und aus den grundeigentümerverbindlichen Nutzungsplänen gemäss Art. 14 ff. RPG ergeben. Es trifft zwar zu, dass der Kanton Luzern die Schutzziele für die Moorlandschaft zu konkretisieren und durchzusetzen hat (vgl. Art. 23c Abs. 2 NHG bzw. Art. 4 Abs. 2 der Moorlandschaftsverordnung) und er dafür zu sorgen hat, dass Pläne und Vorschriften, welche die zulässige Nutzung des Bodens im Sinne der Raumplanungsgesetzgebung regeln, mit der Moorlandschaftsverordnung übereinstimmen (Art. 5 Abs. 2 lit. a der Moorlandschaftsverordnung). Neubauten sind jedoch in einer Moorlandschaft von besonderer Schönheit und nationaler Bedeutung schon gestützt auf die direkt anwendbare Bestimmung von Art. 24sexies Abs. 5 aBV (heute: Art. 78 Abs. 5 BV) grundsätzlich unzulässig. Zudem sind nach Art. 7 der Moorlandschaftsverordnung in einer Moorlandschaft von besonderer Schönheit und nationaler Bedeutung grundsätzlich jegliche Bauten, Anlagen und Bodenveränderungen sowie erhebliche Nutzungsänderungen verboten, solange die Kantone keine Schutz- und Unterhaltsmassnahmen getroffen haben.
8.6 Zusammenfassend ist festzuhalten, dass der bundesrechtliche Moorlandschaftsschutz einer mit hoher Wahrscheinlichkeit aus eigener Kraft realisierbaren Überbauung des Grundstücks des Beschwerdeführers bei Inkrafttreten der Moorschutzverordnung am 1. Dezember 1999 entgegenstand. Neben dem Umstand, dass sich das Grundstück vollständig innerhalb der Moorlandschaft von besonderer Schönheit und nationaler Bedeutung Habkern/Sörenberg befand, ist von Bedeutung, dass eine Überbauung des Grundstücks nicht der Schliessung einer Baulücke oder einer Arrondierung der Bauzonengrenze gleichgekommen wäre, sondern einer unzulässigen Ausdehnung des Siedlungsgebiets.
9. Gegebenheiten, die zum Schluss führen würden, dass der Beschwerdeführer oder sein Rechtsvorgänger zu einem früheren Zeitpunkt mit hoher Wahrscheinlichkeit aus eigener Kraft sofort eine Überbauung realisieren konnte, sind nicht ersichtlich.
9.1 Die Vorinstanz hat diese Frage umfassend geprüft und ausgeführt, dass das fragliche Gebiet vor Inkrafttreten der Moorschutzverordnung, im Jahre 1989, von der Gemeinde Flühli im Rahmen einer Ortsplanungsrevision einer Bauzone zweiter Etappe zugewiesen worden war, das heisst einer Reservezone, deren Zuführung zur Überbauung nicht in der Kompetenz der Gemeindeorgane (und umso weniger in derjenigen des Grundeigentümers selber) gelegen hätte. Diese Ortsplanungsrevision sei jedoch ohnehin nie abgeschlossen worden (vgl. auch Urteil 1A.129/2002 vom 9. April 2003, lit. A). Zuvor und vor dem Wirksamwerden des Moorlandschaftsschutzes habe keine bundesrechtskonforme Zonenplanung bestanden. Der erste für das Gebiet erstellte Teilzonenplan "Wagliseibode" (von der Gemeinde im Oktober 1977 beschlossen und vom Regierungsrat im Januar 1981 genehmigt) habe das Grundstück des Beschwerdeführers zwar der eingeschossigen Einfamilienhauszone E1 zugewiesen, aber den Anforderungen des am 1. Januar 1980 in Kraft getretenen RPG nicht entsprochen. Obwohl in der Folge namhafte Erschliessungsaufwendungen erbracht worden seien, hätten gewichtige planerische Gründe gegen eine Einzonung des Landes gesprochen. Sodann müsse das damalige Generelle Kanalisationsprojekt der Gemeinde (GKP 1984) als überdimensioniert bezeichnet werden. Jedenfalls aber hätte die Erschliessung der gesamten Parzelle des Beschwerdeführers zwecks Überbauung die Erstellung zusätzlicher Erschliessungsanlagen ausserhalb des Baugebiets nach RPG bedingt. Für diese Anlagen wäre eine Ausnahmebewilligung nach Art. 24 RPG nötig gewesen, die voraussichtlich nicht hätte erteilt werden können. Aus diesen Gründen habe die Parzelle Nr. 2545 auch vor Inkrafttreten der Bestimmungen zum Schutz der Moore und Moorlandschaften vom Beschwerdeführer nicht aus eigener Kraft in naher Zukunft überbaut werden können.
9.2 Den für das Bundesgericht verbindlichen Sachverhaltsfeststellungen der Vorinstanz (vgl. Art. 105 Abs. 1 BGG) und den von ihr daraus gezogenen Schlüssen für den Zeitraum vor Inkrafttreten der bundesrechtlichen und kantonalen Schutzvorschriften widerspricht der Beschwerdeführer im Wesentlichen nicht. Er weist zwar darauf hin, dass im Hinblick auf eine Überbauung der Geländekammer erheblicher Erschliessungsaufwand geleistet wurde (namentlich zwecks Heranführung der Gemeindekanalisation im Jahre 1981 mit Einbezug in das GKP 1984 und zur Realisierung eines Erschliessungssträsschens im Jahre 1986 mit Wasser-, Strom- und Telefonleitungen). Er stellt aber nicht in Abrede, dass die Herstellung der Baureife des Terrains zusätzliche planerische Festlegungen und weitere Aufwendungen erfordert hätte. Er bestreitet auch nicht, dass das Baugebiet in der Gemeinde Flühli bezogen auf die Vorgaben von Art. 15 RPG abgestimmt werden musste (vgl. E. 5 hiervor) und das GKP 1984 ein zu ausgedehntes Gebiet erfasste. Angesichts des Redimensionierungsauftrags und der Verpflichtung zur Berücksichtigung weiterer planerischer Anliegen lag es daher - wie die Vorinstanz zutreffend ausgeführt hat - trotz der erstellten Erschliessungsanlagen keineswegs nahe, das peripher und in schutzwürdigem Gebiet gelegene Grundstück des Beschwerdeführers dem auf das RPG abgestimmten Baugebiet zuzuweisen. Der geleistete Erschliessungsaufwand konnte und kann für die Gebäudegruppe im "Wagliseibode" dienstbar gemacht werden und kam insbesondere auch dem Beschwerdeführer für die drei abparzellierten und zur Überbauung freigegebenen Bauplätze von seinem Grundstück zugute. Ausserdem wurde die Kanalisation offenbar zumindest zum Teil von der Gemeinde erstellt und waren Probleme mit der Trink- und Löschwasserversorgung noch ungelöst. Unter all diesen Umständen leuchtet ein, dass die kantonalen Gerichtsbehörden eine Einzonungspflicht für das restliche, grosse Grundstück verneint haben. Die Situation des Beschwerdeführers unterscheidet sich hinsichtlich der vom Moorschutzperimeter erfassten Grundstücksfläche nicht rechtswesentlich von derjenigen zahlreicher anderer Eigentümer peripher gelegener Grundstücke in der Schweiz, deren mehr oder weniger gut erschlossenes Terrain im Zuge der Verkleinerung der vielenorts zu gross bemessenen Bauzonen für die Aufnahme ins RPG-konforme Baugebiet unter anderem wegen erheblicher Distanz zu den Siedlungszentren und der Berücksichtigung von Schutzanliegen ausser Betracht fielen, ohne dass deswegen eine Entschädigung geschuldet war. An das Vorliegen von Ausnahmegründen bzw. besonderer Gesichtspunkte des Vertrauensschutzes, welche die Einzonung trotzdem geboten hätten, hat die Rechtsprechung unter solchen Verhältnissen hohe Anforderungen gestellt. Der Beschwerdeführer vermag nicht aufzuzeigen, dass die kantonalen Behörden gegen Bundesrecht verstossen haben, wenn sie diese Anforderungen vorliegend nicht als erfüllt betrachtet haben.
9.3 An diesem Ergebnis vermag schliesslich auch der Hinweis des Beschwerdeführers auf Zusicherungen, die er von der Gemeinde und vom Kanton hinsichtlich der Überbaubarkeit seines Landes erhalten haben soll, nichts zu ändern. Soweit der Beschwerdeführer vorbringt, das Bundesamt für Umwelt, Wald und Landschaft (heute: Bundesamt für Umwelt) habe am 20. Januar 1994 anlässlich einer Antwort an den Regierungsrat des Kantons Luzern im Rahmen der Inventarisierung von Flachmoorbiotopen und Moorlandschaften eine Überbauung von Grundstücken, die innerhalb der später ausgeschiedenen Moorlandschaft von nationaler Bedeutung lagen, als zulässig bezeichnet, ist darauf hinzuweisen, dass sich diese Äusserung nicht auf den später vom Kanton unter Schutz gestellten Grundstücksteil des Beschwerdeführers bezog (vgl. Schreiben des Regierungsrats des Kantons Luzern vom 21. Dezember 1993 an das Bundesamt, Schreiben des Amts für Natur- und Landschaftsschutz vom 5. Juni 1996 an das Gemeindeammannamt Flühli sowie Bericht der Gemeinde Flühli zum Zonenplan Wagliseibode vom Dezember 2007, S. 4). Soweit sich der Beschwerdeführer sodann auf Ausführungen des Regierungsrats im Entscheid vom 2. November 1999 über Einsprachen zum Entwurf der kantonalen Moorschutzverordnung beruft, konnten diese schon deshalb nicht mehr vertrauensbegründend sein, weil der Regierungsrat gleichzeitig die Unterschutzstellung des fraglichen Teils des Grundstücks des Beschwerdeführers beschloss.
10. Die Beschwerde erweist sich als unbegründet und ist abzuweisen. Bei diesem Ausgang des Verfahrens trägt der Beschwerdeführer die Gerichtskosten (vgl. Art. 66 Abs. 1 BGG). Der in seinem amtlichen Wirkungskreis obsiegende Kanton Luzern hat keinen Anspruch auf eine Parteientschädigung (vgl. Art. 68 Abs. 3 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 8'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, dem Kanton Luzern, der Kantonalen Schätzungskommission Luzern, dem Verwaltungsgericht des Kantons Luzern, Verwaltungsrechtliche Abteilung, und dem Bundesamt für Raumentwicklung schriftlich mitgeteilt.
Lausanne, 26. Januar 2012
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Aemisegger
Der Gerichtsschreiber: Mattle