Sachverhalt:
A. Der 1959 geborene M._ meldete sich am 14. September 2005 unter Angabe einer akuten Leukämie bei der Invalidenversicherung zum Rentenbezug an. Die IV-Stelle Luzern holte unter anderem einen Bericht des behandelnden Psychiaters Dr. med. R._, Innere Medizin FMH, Psychiatrie und Psychotherapie FMH sowie Psychosomatik APPM, vom 10. Dezember 2007, Berichte der Hausärztin Dr. med. I._, Allgemeine Medizin FMH, sowie ein polydisziplinäres Gutachten des Instituts B._ vom 7. Januar 2009 und eine Stellungnahme des Regionalärztlichen Dienstes (RAD) vom 19. Januar 2009 ein. Mit Verfügung vom 21. Januar 2010 sprach die IV-Stelle Luzern M._ ab 1. Februar 2006 eine ganze Invalidenrente zu, welche auf den 28. Februar 2007 befristet wurde, weil der Versicherte vom 27. Februar bis zum 26. August 2007 während der Durchführung von beruflichen Eingliederungsmassnahmen Taggelder bezog. Mit der gleichen Verfügung sprach ihm die IV-Stelle ab 1. August 2007 eine halbe Rente zu. Dabei wurde vereinbart, dass die momentan 50%ige Arbeitsfähigkeit für die Wiederaufnahme eines Arbeitstrainings vorerst im geschützten Rahmen umgesetzt werden soll.
B. Dagegen liess M._ Beschwerde erheben mit den Anträgen, in Aufhebung der Verfügung vom 21. Januar 2010 sei ihm mit Wirkung ab 1. August 2007 eine ganze Rente bei einem Invaliditätsgrad von mindestens 70 % auszurichten, eventualiter habe die IV-Stelle den Versicherten polydisziplinär-medizinisch sowie beruflich (mit Arbeitstraining) abzuklären. Das Verwaltungsgericht des Kantons Luzern, Sozialversicherungsrechtliche Abteilung, holte beim behandelnden Psychiater Dr. med. R._ eine Beweisauskunft ein, welche aufgrund eines Fragenkatalogs am 10. Dezember 2010 erstellt wurde. Mit Entscheid vom 12. April 2011 hiess das Verwaltungsgericht die Beschwerde in dem Sinne gut, dass die Verfügung vom 21. Januar 2010, soweit sie die Zeit ab 1. August 2007 betrifft, aufgehoben und die Sache an die IV-Stelle zurückgewiesen wurde, damit diese, nach erfolgter Abklärung durch Veranlassung einer neuen psychiatrischen Begutachtung und nach Heranziehung von berichtigten Einkommensgrundlagen über den Rentenanspruch neu verfüge.
C. Die IV-Stelle führt Beschwerde in öffentlich-rechtlichen Angelegenheiten und beantragt, in Aufhebung der Ziffern 1, 2 und 3 des Rechtsspruchs des vorinstanzlichen Entscheides sei die Richtigkeit der Verfügung vom 21. Januar 2010 festzustellen. Ferner beantragt sie, der Beschwerde sei die aufschiebende Wirkung zu erteilen.
Erwägungen:
1. 1.1 Das Bundesgericht überprüft von Amtes wegen und mit freier Kognition, ob ein Rechtsmittel zulässig ist (Art. 29 Abs. 1 BGG; BGE 135 III 1 E. 1.1 S. 3).
1.2 Beim angefochtenen Rückweisungsentscheid handelt es sich, da das Verfahren noch nicht abgeschlossen wird und die Rückweisung auch nicht einzig der Umsetzung des oberinstanzlich Angeordneten dient (vgl. Urteil 9C_684/2007 vom 27. Dezember 2007, E. 1.1 mit Hinweisen), um einen - selbstständig eröffneten - Vor- oder Zwischenentscheid im Sinne von Art. 93 BGG (BGE 133 V 477 E. 4.2 S. 481 f. mit Hinweisen). Die Zulässigkeit der Beschwerde setzt somit - alternativ - voraus, dass der Entscheid einen nicht wieder gutzumachenden Nachteil bewirken kann (Abs. 1 lit. a) oder dass die Gutheissung der Beschwerde sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde (Abs. 1 lit. b).
1.3 Rechtsprechungsgemäss bewirkt ein Rückweisungsentscheid in der Regel keinen irreversiblen Nachteil im Sinne von Art. 93 Abs. 1 lit. a BGG, da der Rechtsuchende ihn später zusammen mit dem neu zu fällenden Endentscheid wird anfechten können (vgl. Art. 93 Abs. 3 BGG). Anders verhält es sich allerdings, wenn durch materiellrechtliche Anordnungen im Rückweisungsentscheid der Beurteilungsspielraum der unteren Instanz wesentlich eingeschränkt wird. Sodann ist für die Verwaltung bzw. den Versicherungsträger ein nicht wieder gutzumachender Nachteil gegeben, wenn diese durch den Rückweisungsentscheid gezwungen werden, eine ihres Erachtens rechtswidrige Verfügung zu treffen. Auch diesfalls braucht nicht der Endentscheid abgewartet zu werden (BGE 133 V 477 E. 5.2 S. 483 ff.; Urteil 8C_682/2007 vom 30. Juli 2008 E. 1.2.1, nicht publ. in: BGE 134 V 392, aber in: SVR UV Nr. 31 S. 115; Urteil 9C_588/2010 vom 3. November 2010 E. 1.3).
2. 2.1 Die Beschwerdeführerin macht geltend, sie habe ihre Verfügung vom 21. Januar 2010 insbesondere auf die Begutachtung des Instituts B._ vom 7. Januar 2009 gestützt. Die Vorinstanz sei davon ausgegangen, aufgrund der Beweisauskunft des behandelnden Psychiaters Dr. med. R._ vom 10. Dezember 2010 dürfe nicht auf das polydisziplinäre Gutachten des Instituts B._ abgestellt werden. Damit verbiete sie der Beschwerdeführerin, entscheidend auf das Gutachten des Instituts B._ abzustellen. Die IV-Stelle wäre damit gezwungen, entgegen ihrer Rechtsauffassung auf ein von ihr als beweiskräftig erachtetes Gutachten nicht abzustellen. Dies entspreche einem Zwang zur Einholung einer "second opinion", was rechtsprechungsgemäss unzulässig sei. Damit seien die Eintretensvoraussetzungen gemäss Art. 93 Abs. 1 lit. a BGG erfüllt. Zudem sei die IV-Stelle von der Vorinstanz verbindlich darauf festgelegt worden, dass der Beschwerdegegner im Zeitraum des abgebrochenen Arbeitstrainings im August 2007 als nur in geschütztem Rahmen arbeitsfähig zu betrachten sei. Demzufolge anerkenne das kantonale Gericht eine weiterhin bestehende Arbeitsunfähigkeit des Beschwerdegegners in der freien Wirtschaft. Diese Erwägung der Vorinstanz sei für die Beschwerdeführerin verbindlich und würde zum Anspruch auf eine weitergehende volle Rente führen. Dies könne in einem späteren Verfahren nicht mehr korrigiert werden und habe für die Beschwerdeführerin erhebliche Konsequenzen. Damit bewirke der kantonale Entscheid für die IV-Stelle einen nicht wieder gutzumachenden Nachteil, womit die Eintretensvoraussetzungen auch aus diesem Grund als erfüllt zu betrachten seien.
2.2 Die Vorinstanz hat in ihren Erwägungen festgehalten, solange die Frage aktuell war, ob für den Beschwerdeführer eine Beschäftigung an einem geschützten Arbeitsplatz oder ein Arbeitstraining durchzuführen sei, könne jedenfalls einstweilen noch nicht von einer erwerblich verwertbaren Arbeitsfähigkeit von 50 % ausgegangen werden. Erst nach einer erfolgreichen Tätigkeit an einem geschützten Arbeitsplatz oder einem erfolgreich absolvierten Arbeitstraining würde sich die Frage stellen, ob und inwiefern nunmehr von einer erwerblich verwertbaren Arbeitsfähigkeit auf dem dem Beschwerdeführer offen stehenden ausgeglichenen freien Arbeitsmarkt ausgegangen werden könne. Eine erwerblich verwertbare Arbeitsleistung in der freien Wirtschaft könne noch nicht angenommen werden, woran die Attestierung einer medizinisch-theoretischen Arbeitsfähigkeit von 50 % nichts ändere. In dieser Phase könne noch nicht von einer voraussichtlich längerdauernden Verbesserung der Erwerbsfähigkeit im Sinne von Art. 88a Abs. 1 IVV die Rede sein, welche Anlass für eine Rentenherabsetzung sein könnte. Während der behandelnde Psychiater Dr. med. R._ in seiner Beweisauskunft vom 10. Dezember 2010 von einem schwankenden, aber tendenziell eher sich verschlechternden Gesundheitszustand ausgehe, nehme die IV-Stelle eine erhebliche Verbesserung des Gesundheitszustandes an, die ab 1. Juli 2007 Anlass für die Herabsetzung der bisher ausgerichteten ganzen Invalidenrente auf eine halbe Rente bilde. Das polydisziplinäre Gutachten des Instituts B._ vom 7. Januar 2009 und die genannte Beweisauskunft des erfahrenen Psychiaters Dr. med. R._, der den Beschwerdeführer seit dem 8. März 2007 behandelt und deshalb den Krankheitsverlauf aufgrund eigener Beobachtung kompetent beurteilen könne, würden sich in psychiatrischer Hinsicht widersprechen. Aufgrund der bestehenden Aktenlage sei es in psychiatrischer Hinsicht nicht möglich, die Rechtmässigkeit der Rentenherabsetzung ab 1. August 2007 abschliessend zu beurteilen. Es sei deshalb unumgänglich, eine neue psychiatrische Begutachtung zu veranlassen. Zu diesem Zweck sei die Sache unter Aufhebung der Verfügung vom 21. Januar 2010, soweit sie die Zeit ab 1. August 2007 betrifft, an die IV-Stelle zurückzuweisen, damit sie entsprechend dem Ergebnis der neuen Begutachtung über den Rentenanspruch ab 1. August 2007 neu verfüge.
3. 3.1 Entgegen der Auffassung der Beschwerdeführerin enthält der vorinstanzliche Entscheid keinen als Verbot zu verstehenden Zwang, nicht entscheidend auf das Gutachten des Instituts B._ abzustellen, weil dieses insofern an einem rechtlichen Mangel leiden würde, dass darin enthaltene medizinische Feststellungen im Widerspruch zur bei Dr. med. R._ eingeholten Beweisauskunft vom 10. Dezember 2010 stehen. Zum einen wird im angefochtenen Entscheid "nur" festgehalten, dass aufgrund der widersprüchlichen Aktenlage die Rechtsmässigkeit der Rentenherabsetzung ab 1. August 2007 nicht abschliessend beurteilt werden könne. Zum andern geht es hier lediglich um einen Teilbereich des Gutachtens des Instituts B._, welchem nicht als Ganzes der Beweiswert von vornherein definitiv abgesprochen wird (so im von der Beschwerdeführerin zitierten Urteil 9C_588/2010 vom 3. November 2010 E. 1.4). Es kann somit nicht gesagt werden, die IV-Stelle werde verpflichtet, eine nach ihrer Meinung ungerechtfertigte Leistungszusprache zu erlassen. Vielmehr wird es auf die ergänzende Abklärung und deren Beweiswert im Vergleich zum Gutachterteil des Instituts B._ ankommen.
In dieser Hinsicht ist im angefochtenen Rückweisungsentscheid des Verwaltungsgerichts kein nicht wieder gutzumachender Nachteil im Sinne des Art. 93 Abs. 1 lit. a BGG zu erblicken, weshalb in diesem Punkt auf die Beschwerde nicht einzutreten ist.
3.2 Der kantonale Entscheid enthält allerdings die verbindliche Feststellung einer nicht bestehenden erwerblich verwertbaren Arbeitsfähigkeit von 50 % des Beschwerdegegners in der freien Wirtschaft. Dementsprechend schränkt der vorinstanzliche Entscheid (E. 3b) den Beurteilungsspielraum der IV-Stelle ein. Denn darin wird ihr untersagt, eine realisierbare Arbeitsfähigkeit anzunehmen, solange nicht ein Arbeitstraining erfolgreich abgeschlossen ist oder eine Tätigkeit an einem geschützten Arbeitsplatz erfolgreich stattgefunden hat.
In dieser Hinsicht ist im angefochtenen Rückweisungsentscheid des Verwaltungsgerichts ein nicht wieder gutzumachender Nachteil im Sinne des Art. 93 Abs. 1 lit. a BGG zu erblicken, weshalb in diesem Punkt auf die Beschwerde einzutreten ist.
4. 4.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (Art. 82 ff. BGG) kann wegen Rechtsverletzung im Sinne von Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann deren Sachverhaltsfeststellung berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG; vgl. BGE 132 V 393).
4.2 Nach dem Konzept des Art. 16 ATSG setzt eine rentenbestimmende Invaliditätsbemessung auch im Revisionsfall (Art. 17 ATSG) voraus, dass angezeigte Eingliederungsmassnahmen durchgeführt worden sind. Dementsprechend muss der Eingliederungsbedarf vor einer Erhöhung, Herabsetzung oder Aufhebung der Rente anlässlich einer Leistungsrevision nach Art. 17 ATSG in gleicher Weise wie im Rahmen einer erstmaligen Invaliditätsbemessung abgeklärt werden. Ein Rentenanspruch dauert nur solange an, wie die Erwerbsunfähigkeit nicht (oder noch nicht) mit geeigneten Eingliederungs- und Selbsteingliederungsmassnahmen tatsächlich behoben oder in einer für den Rentenanspruch erheblichen Weise verringert wird. Die schadenmindernde Funktion der Eingliederungsleistungen korreliert mit dem Grundsatz, dass das entsprechende Invalideneinkommen erst dann als Grundlage für den Einkommensvergleich nach Art. 16 ATSG herangezogen und ein bestehender rentenbegründender Invaliditätsgrad leistungswirksam revidiert wird, wenn die versicherte Person das neu gewonnene Leistungsvermögen in ein entsprechendes Erwerbseinkommen aus zumutbarer Tätigkeit umsetzen kann bzw. könnte (Urteile 9C_163/2009 vom 10. September 2010 E. 4.1 und I 428/04 vom 7. Juni 2006 E. 5.2.2; vgl. auch Urteile 9C_720/2007 vom 28. April 2008 E. 4.2 und I 2/06 vom 23. Mai 2006 E. 2.2, zur Notwendigkeit eines eigentlichen Arbeitstrainings). Bei der - wie im vorliegenden Fall - rückwirkenden Zusprechung einer abgestuften oder befristeten Rente finden die Revisionsbestimmungen (Art. 17 Abs. 1 ATSG) und die dazu ergangene Rechtsprechung analog Anwendung (Urteil 9C_708/2010 vom 25. Februar 2011 E. 3).
4.3 Die Beschwerdeführerin macht geltend, sie habe aufgrund des Gutachtens des Instituts B._ zutreffend befunden, der Beschwerdegegner sei auf dem freien Wirtschaftsmarkt zu 50 % arbeitsfähig. Somit habe er ab 1. August 2007 Anspruch auf eine halbe Invalidenrente. Diese Betrachtungsweise ist nicht stichhaltig. In der Tat gilt in der Invalidenversicherung wie dargelegt (E. 4.2) der Grundsatz "Eingliederung vor Rente". In dieser Hinsicht ist die Beschwerde demzufolge abzuweisen.
5. Das Gesuch um aufschiebende Wirkung der Beschwerde ist gegenstandslos.
6. Das Verfahren ist kostenpflichtig. Die Gerichtskosten werden der Beschwerdeführerin als unterliegender Partei auferlegt (Art. 66 Abs. 1 BGG). Eine Parteientschädigung ist nicht geschuldet, da dem Beschwerdegegner im vorliegenden Verfahren mangels Durchführung eines Schriftenwechsels kein nennenswerter Aufwand entstanden ist (Urteil 8C_384/2008 vom 6. Juni 2008).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde ist abzuweisen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdeführerin auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Luzern, Sozialversicherungsrechtliche Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 21. Juli 2011
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Scartazzini