Sachverhalt:
A. Der 1955 geborene Z._ meldete sich am 13. Januar 2004 bei der Invalidenversicherung zum Leistungsbezug an. Nach Abklärungen in erwerblicher und medizinischer Hinsicht wies die IV-Stelle des Kantons Luzern am 29. August 2005 einen Rentenanspruch basierend auf einem Invaliditätsgrad von 32 % ab. Die dagegen erhobene Beschwerde hiess das Verwaltungsgericht des Kantons Luzern mit Entscheid vom 13. September 2007 insoweit gut, als es die Sache zur weiteren Abklärung an die IV-Stelle zurückwies. In der Folge veranlasste die IV-Stelle eine rheumatologische Begutachtung bei Dr. med. L._, Facharzt FMH für Rheumatologie, sowie eine psychiatrische Begutachtung bei Dr. med. B._, Facharzt FMH für Psychiatrie und Psychotherapie, vom 4. November 2008 und lehnte nach Durchführung des Vorbescheidverfahrens mit Verfügung vom 30. Januar 2009 einen Rentenanspruch erneut ab.
B. Die hiegegen erhobene Beschwerde hiess das Verwaltungsgericht des Kantons Luzern mit Entscheid vom 27. Mai 2010 gut und wies die Sache zur weiteren Abklärung an die IV-Stelle zurück.
C. Die IV-Stelle führt Beschwerde in öffentlich-rechtlichen Angelegenheiten und subsidiäre Verfassungsbeschwerde und beantragt zur Hauptsache, unter Aufhebung des vorinstanzlichen Entscheides sei die Richtigkeit der Verfügung vom 30. Januar 2009 festzustellen.
Das Verwaltungsgericht des Kantons Luzern und der Versicherte schliessen auf Abweisung der Beschwerde, soweit darauf einzutreten ist. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.
Erwägungen:
1. Beim angefochtenen Rückweisungsentscheid handelt es sich, da das Verfahren noch nicht abgeschlossen wird und die Rückweisung auch nicht einzig der Umsetzung des oberinstanzlich Angeordneten dient, um einen - selbstständig eröffneten - Vor- oder Zwischenentscheid im Sinne von Art. 92 und 93 BGG (BGE 133 V 477 E. 4.2 S. 481 f. mit Hinweisen). Ein solcher Rückweisungsentscheid bewirkt rechtsprechungsgemäss in der Regel keinen irreversiblen Nachteil im Sinne von Art. 93 Abs. 1 lit. a BGG. Wird hingegen gegen einen solchen Vor- und Zwischenentscheid Beschwerde geführt mit der Rüge, das Gericht habe nicht in verfassungsmässiger Besetzung entschieden, was hier der Fall ist, ist auf die Beschwerde einzutreten. Zum einen ergibt sich dies daraus, dass gegen selbstständig eröffnete Vor- und Zwischenentscheide über die Zuständigkeit und über Ausstandsbegehren die Beschwerde zulässig ist (Art. 92 Abs. 1 BGG). Anderseits sind die Ablehnungs- und Ausstandsgründe so früh wie möglich geltend zu machen, ansonsten der Anspruch auf spätere Anrufung der vermeintlich verletzten Ausstandsbestimmungen verwirkt ist (BGE 132 II 485 E. 4.3 S. 496 mit Hinweisen; vgl. auch Art. 92 Abs. 2 BGG). Auf die Beschwerde ist daher hinsichtlich der Rüge der mangelhaften Besetzung des Gerichts einzutreten.
Nachdem bei der Eingabe der Beschwerdeführerin die Voraussetzungen für die Beschwerde in öffentlich-rechtlichen Angelegenheiten an sich erfüllt sind, ist diese als solche - und nicht als (subsidiäre) Verfassungsbeschwerde - entgegenzunehmen (Art. 113 BGG).
2. 2.1 Die Verletzung von Grundrechten (einschliesslich der willkürlichen Anwendung von kantonalem Recht und Willkür bei der Sachverhaltsfeststellung, BGE 133 II 249 E. 1.4.3 S. 255) prüft das Bundesgericht nicht von Amtes wegen, sondern nur insoweit, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG; BGE 133 II 249 E. 1.4.2 S. 254 mit Hinweisen).
2.2 Rechtsverletzungen im Sinne von Art. 95 lit. a und b BGG prüft das Bundesgericht grundsätzlich frei, einschliesslich die Frage, ob die Auslegung und Anwendung des kantonalen Rechts zu einer Bundesrechtswidrigkeit führt. Im Übrigen prüft das Bundesgericht die Handhabung kantonalen Rechts - vorbehältlich der in Art. 95 lit. c und d BGG genannten Fälle - bloss auf Willkür hin (Art. 9 BV; vgl. BGE 131 I 467 E. 3.1 S. 473 f.). Mit freier Kognition beurteilt es indessen die Frage, ob die als vertretbar erkannte Auslegung des kantonalen Prozessrechts mit den Garantien der Art. 30 Abs. 1 BV und Art. 6 Ziff. 1 EMRK vereinbar ist.
2.3 Nach der ständigen Rechtsprechung des Bundesgerichts liegt Willkür in der Rechtsanwendung vor, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Das Bundesgericht hebt einen Entscheid jedoch nur auf, wenn nicht bloss die Begründung, sondern auch das Ergebnis unhaltbar ist; dass eine andere Lösung ebenfalls vertretbar oder gar zutreffender erscheint, genügt nicht (BGE 132 I 175 E. 1.2 S. 177; 131 I 467 E. 3.1 S. 473 f., je mit Hinweisen).
3. 3.1 Die Rechtspflegebestimmung des Art. 61 ATSG enthält keine Vorschrift über die Zusammensetzung der kantonalen Versicherungsgerichte. Die Regelung dieser Frage obliegt somit den Kantonen. Sowohl Art. 30 Abs. 1 BV als auch Art. 6 Ziff. 1 EMRK geben dem Einzelnen Anspruch auf richtige Besetzung des Gerichts und Einhaltung der jeweils geltenden staatlichen Zuständigkeitsordnung (BGE 129 V 335 E. 1.3.1 S. 338, 128 V 82 E. 2a S. 84, 127 I 128 E. 3c S. 130, S. 196 E. 2b S. 198, 126 I 168 E. 2b S. 170).
3.2 Nach § 8a Abs. 3 lit. d der Geschäftsordnung für das Verwaltungsgericht des Kantons Luzern (GOVG; SRL Nr. 43), in Kraft seit 1. April 2010, entscheidet der Einzelrichter "Streitigkeiten, bei welchen die Voraussetzungen für eine abschliessende Beurteilung, namentlich wegen unvollständiger Abklärung des Sachverhalts, nicht gegeben sind und die ohne verbindliche Vorgabe in der Sache an die Vorinstanz zurückgewiesen werden".
3.3 Die IV-Stelle macht in der Beschwerde geltend, indem der Entscheid eine klare, verbindliche Vorgabe beinhalte, nämlich die verbindliche Anweisung, ein rheumatologisches Gutachten einzuholen, verletze das kantonale Gericht seine eigene Geschäftsordnung und die ihr zustehenden verfassungsmässigen Rechte gemäss Art. 29 und Art. 30 BV, weshalb in ordentlicher Besetzung hätte entschieden werden müssen.
3.4 Die Beschwerdeführerin vermag jedoch nicht darzutun, inwiefern die Auslegung der kantonalen Vorschrift zur einzelrichterlichen Zuständigkeit durch die Vorinstanz willkürlich sein soll. Wie der Botschaft zur Änderung der Geschäftsordnung vom 12. Januar 2010 zu entnehmen ist, sieht der neue Unterabsatz d die Entscheidungskompetenz der Einzelrichterinnen und -richter für Fälle vor, welche als reine Zwischenentscheide (im Sinne bundesgerichtlicher Rechtsprechung) ohne verbindliche Vorgaben an die Vorinstanz zurückgewiesen werden. Sobald materielle Vor- oder Teilfragen oder einzelne Ansprüche im Rückweisungsurteil entschieden werden, ist die Zuständigkeit des Einzelrichters oder der Einzelrichterin ausgeschlossen. Wenn die Vorinstanz gestützt darauf davon ausgeht, die Anweisung, ein rheumatologisches Gutachten einzuholen, falle nicht unter die von der Geschäftsordnung anvisierte Vorgabe, mit welcher materielle Vor- oder Teilfragen oder einzelne Ansprüche entschieden werden, so ist dies jedenfalls nicht willkürlich. Die damit als vertretbar zu betrachtende Auslegung des kantonalen Prozessrechts ist mit der genannten Garantie von Art. 30 Abs. 1 BV ebenfalls vereinbar, gibt doch diese Garantie nicht Anspruch auf Beurteilung durch ein Kollegialgericht.
4. Soweit in der Beschwerde schliesslich materielle Einwände gegen den Rückweisungsentscheid erhoben werden, ist darauf nach dem Gesagten nicht einzutreten.
5. Als unterliegende Partei hat die IV-Stelle die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG) und überdies den Beschwerdegegner zu entschädigen (Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Auf die subsidiäre Verfassungsbeschwerde wird nicht eingetreten.
3. Die Gerichtskosten von Fr. 500.- werden der Beschwerdeführerin auferlegt.
4. Die Beschwerdeführerin hat den Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 2'000.- zu entschädigen.
5. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Luzern, Sozialversicherungsrechtliche Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 8. August 2011
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Die Gerichtsschreiberin: Helfenstein Franke