Sachverhalt:
A. A.a Der 1947 geborene K._ arbeitete als gelernter Koch im Pflegeheim S._. Am 31. Oktober 2003 meldete er sich mit dem Hinweis auf eine seit dem 27. November 2002 bestehende Arbeitsunfähigkeit infolge Schmerzen in der Hals- und Lendenwirbelsäule nach einem (angeblichen) Schleudertrauma und Arthrosen an den Gelenken bei der Invalidenversicherung zum Bezug einer Rente an. Die IV-Stelle Luzern holte verschiedene medizinische Berichte ein und nahm die medizinischen Unterlagen der als UVG-Versicherung involvierten Basler Versicherungs-Gesellschaft (Basler) mit einem Gutachten der Klinik X._ vom 29. März 2005 zu den Akten. Das Arbeitsverhältnis mit dem Pflegeheim S._ wurde auf den 31. Mai 2004 aufgelöst, nachdem der Versicherte seinen Vorgesetzten Mitte Februar 2004 mitgeteilt hatte, eine Rückkehr an seinen Arbeitsplatz werde ihm aus gesundheitlichen Gründen mit grösster Wahrscheinlichkeit nicht mehr möglich sein. Mit Verfügung vom 12. Oktober 2006 sprach die IV-Stelle K._ ab 1. November 2003 eine halbe Rente bei einem Invaliditätsgrad von 54 %, ab 1. April 2004 - entsprechend einer Übergangsfrist von drei Monaten nach einem Autounfall vom 4. Januar 2004 - eine ganze und ab 1. Oktober 2004 - nach einer Verbesserung des Gesundheitszustandes im Sommer 2004 - wiederum eine halbe Rente zu. Das Verwaltungsgericht des Kantons Luzern hob diese Verfügung auf Beschwerde hin auf und wies die Sache zur weiteren medizinischen Abklärung an die IV-Stelle zurück.
A.b Die IV-Stelle holte in der Folge beim ärztlichen Begutachtungsinstitut Z._ eine polydisziplinäre Expertise vom 25. Oktober 2007 ein. Gestützt auf die darin gemachten Feststellungen sprach die IV-Stelle K._ mit Verfügung vom 20. August 2008 ab 1. April 2004 eine Viertelsrente und eine vom 1. Juli bis 1. Oktober 2004 befristete ganze Rente zu. Mit einer weiteren Verfügung vom 17. September 2008 ermittelte die Invalidenversicherung zudem einen an den Versicherten und seine ebenfalls eine Invalidenrente beziehende Ehefrau zu viel ausbezahlten Betrag von Fr. 15'921.-, auf dessen Rückforderung sie aber verzichtete.
B. Mit Entscheid vom 1. September 2009 wies das Verwaltungsgericht Luzern eine gegen die Rentenverfügung erhobene Beschwerde ab, soweit es darauf eintrat. Darüber hinaus lehnte das Gericht auch den Antrag ab, die Invalidenversicherung habe K._ die Kosten eines von ihm in Auftrag gegebenen Gutachtens der Gutachtenstelle Y._ vom 19. September 2008 in der Höhe von Fr. 16'826.80 zu erstatten.
C. K._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, in Aufhebung des angefochtenen Entscheids sei ihm ab 1. November 2003 eine ganze Rente, eventuell eine halbe Rente vom 1. November 2003 und eine ganze ab 1. April 2004 auszurichten. Im weiteren habe ihm die IV-Stelle - in Solidarität mit der Basler Versicherung als UVG Versicherung - die Kosten für das Gutachten der Gutachtenstelle Y._ zu erstatten.
Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.
Erwägungen:
1. 1.1 Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (Art. 105 Abs. 2 BGG). Diese gesetzliche Kognition in tatsächlicher Hinsicht gilt namentlich für die Einschätzung der gesundheitlichen und leistungsmässigen Verhältnisse (Art. 6 ATSG), wie sie sich im revisions- oder neuanmeldungsrechtlich massgeblichen Vergleichszeitraum entwickelt haben (Urteil 9C_463/2008 vom 30. April 2009 E. 1 mit Hinweis). Hingegen kann eine unvollständige Sachverhaltsfeststellung als Rechtsverletzung im Sinne von Art. 95 lit. a BGG vom Bundesgericht uneingeschränkt überprüft werden (SEILER/VON WERDT/GÜNGERICH, Kommentar zum Bundesgerichtsgesetz, Bern 2007, N 24 zu Art. 97 BGG).
1.2 Die am 1. Januar 2008 in Kraft getretenen materiellen Änderungen des IVG und der IVV im Rahmen der 5. IV-Revision (Bundesgesetz vom 6. Oktober 2006 und Verordnung vom 28. September 2007) sind nach den allgemeinen übergangsrechtlichen Grundsätzen nicht anwendbar (vgl. BGE 130 V 445 E. 1 S. 446).
2. Streitig und zu prüfen ist der Anspruch des Beschwerdeführers auf eine Invalidenrente.
Das kantonale Gericht hat die gesetzlichen Bestimmungen und Grundsätze über den Umfang des Rentenanspruchs (Art. 28 Abs. 1 IVG in der vom 1. Januar 2004 bis Ende 2007 gültig gewesenen Fassung), die Bemessung des Invaliditätsgrades bei erwerbstätigen Versicherten nach der allgemeinen Methode des Einkommensvergleichs (Art. 28 Abs. 2 IVG [ebenfalls in der vom 1. Januar 2004 bis 31. Dezember 2007 geltenden Fassung] und Art. 16 ATSG; BGE 130 V 343 E. 3.4 S. 348; 128 V 29 E. 1 S. 30; 104 V 135 E. 2a und b S. 136) sowie zum Beweiswert und zur Beweiswürdigung ärztlicher Berichte und Gutachten (BGE 125 V 351 E. 3a S. 352 mit Hinweis), zutreffend dargelegt. Ebenfalls richtig sind die Ausführungen zu den bei einer rückwirkenden Zusprechung einer abgestuften und/oder befristeten Invalidenrente geltenden Grundsätzen (analoge Anwendung von Art. 17 ATSG in Verbindung mit Art. 87 IVV [in der bis 31. Dezember 2003 und vom 1. Januar bis Ende Februar 2004 gültig gewesenen sowie in der seit 1. März 2004 geltenden Fassung]; BGE 121 V 264 E. 6b/dd S. 275, 109 V 125 E. 4a S. 127). Hierauf wird verwiesen.
3. 3.1 Das kantonale Gericht erwog nach eingehender Darstellung der medizinischen Aktenlage, gemäss Gutachten des Instituts Z._ vom 25. Oktober 2007, welches insgesamt eine abschliessende und rechtskonforme Beurteilung ermögliche und die an den Beweiswert ärztlicher Gutachten gestellten Anforderungen erfülle, könne der Beschwerdeführer seine angestammte oder eine andere körperlich leichte Tätigkeit mit Wechselpositionen seit Februar 2003 wieder ganztags ausüben, wobei eine um 20 Prozent reduzierte Leistung bestehe. Der zweite Unfall vom 4. Januar 2004 habe vorübergehend erneut eine volle Arbeitsunfähigkeit zur Folge gehabt, welche auf Grund objektivierbarer Kriterien während höchstens sechs Monaten bestanden habe. Danach sei wieder von einer 80-prozentigen Arbeitsfähigkeit auszugehen. Nach differenzierter Auseinandersetzung mit den Befunderhebungen und Wertungen im Privatgutachten der Gutachtenstelle Y._ stellte die Vorinstanz im Weiteren fest, dieses vermöge die Auffassungen und Schlussfolgerungen des ABI-Gutachtens nicht derart zu erschüttern, dass davon abzuweichen wäre.
3.2 Der Beschwerdeführer rügt, das kantonale Gericht habe den Sachverhalt unvollständig und willkürlich festgestellt, indem es zu wenig begründete, weshalb es seine Beurteilung auf die medizinischen Erkenntnisse gemäss ABI-Gutachten und nicht auf diejenigen der Gutachtenstelle Y._ stützte. Zudem habe die Vorinstanz es unterlassen, eine arbeitsorientierte Evaluation der funktionellen Leistungsfähigkeit (EFL) durchzuführen.
3.3 Die anhand von medizinischen Untersuchungen gerichtlich festgestellte Arbeits(un)fähigkeit stellt eine Entscheidung über eine Tatfrage dar. Dazu gehören auch die Fragen, in welchem Umfang das funktionelle Leistungsvermögen sowie vorhandene und verfügbare psychische Ressourcen eine (Rest-)Arbeitsfähigkeit begründen, weil es der versicherten Person zumutbar ist, eine entsprechend profilierte Tätigkeit auszuüben. Für eine valide Beurteilung der Arbeitsfähigkeit und Zumutbarkeit ist in manchen Fällen neben den medizinischen Befunden und Diagnosen auch eine arbeitsorientierte Evaluation der funktionellen Leistungsfähigkeit wünschbar oder sogar erforderlich. Dies ist jedoch keineswegs in allen Fällen notwendig. Das gilt insbesondere auch vorliegend, wo weder der behandelnde Arzt, noch einer der Gutachter (Klinik X._, Institut Z._, Gutachtenstelle Y._) eine entsprechende Expertise empfahl (dies im Gegensatz zum Sachverhalt im vom Beschwerdeführer zitierten Urteil 8C_547/2008). Auf jeden Fall stellt das Unterlassen der erst letztinstanzlich beantragten EFL-Abklärung keine Rechtsverletzung dar, welche die ohne diese gemachten Sachverhaltsfeststellungen hinsichtlich der zumutbaren Arbeitsfähigkeit als willkürlich erscheinen liesse. Dasselbe gilt für die vorinstanzliche Feststellung als Ganzes, der Beschwerdeführer sei in seiner bisherigen Tätigkeit im Rahmen von 20 % in seiner Arbeitsfähigkeit eingeschränkt.
4. Hinsichtlich der Bemessung des Invaliditätsgrades rügt der Beschwerdeführer, falls sich aufgrund valider Abklärungen ergebe, dass die Tätigkeit als Koch überhaupt nicht mehr zumutbar sei, es müsse ein ordentlicher Einkommensvergleich vorgenommen werden. Wie in Erwägung 3 dargelegt, besteht kein Anlass, von der Tatsachenfeststellung der Vorinstanz hinsichtlich der Art und des Umfanges der noch zumutbaren Tätigkeit abzuweichen. Der Beschwerdeführer bringt seinerseits nichts vor, was die Vornahme eines sogenannten Prozentvergleichs in Frage stellen würde. Es besteht deshalb letztinstanzlich kein Grund, eine neue Invaliditätsbemessung vorzunehmen.
5. Schliesslich rügt der Beschwerdeführer, die Invalidenversicherung habe mit der Rentenzusprache ab April 2004 eine volle Arbeitsunfähigkeit anerkannt. Ab Juli 2004 habe sich nur die Einschätzung der Arbeitsfähigkeit durch die Gutachter des Instituts Z._ geändert, was aber für eine revisionsweise Aufhebung des Rentenanspruchs nicht genüge.
Auch diesbezüglich ist auf die rechtskonforme Tatsachenfeststellung im angefochtenen Entscheid zu verweisen. Demnach bestand auf Grund der Fingerfraktur vom 27. November 2002 eine bis Anfang Februar 2003 dauernde volle Arbeitsunfähigkeit. Danach, bis zum Autounfall vom 4. Januar 2004, ist von den tatsächlichen Verhältnissen auszugehen, wie sie sich den Gutachtern des Instituts Z._ im Frühjahr 2007 präsentierten, weshalb bei voller Präsenz eine 20-prozentige Einschränkung in der Leistung anzunehmen ist. Durch die vorübergehende Traumatisierung der degenerativ vorgeschädigten Halswirbelsäule im Januar 2004 ergab sich wieder für sechs Monate eine volle Arbeitsunfähigkeit. Die veränderten Verhältnisse liegen in der Abheilung der vorübergehenden Traumatisierung begründet. Das kantonale Gericht hat gestützt auf das genannte Gutachten vom 25. Oktober 2007 in tatsächlicher Hinsicht verbindlich festgestellt, dass die Auswirkung des zweiten Unfalls längstens während sechs Monaten zum Tragen gekommen und danach wieder die seit November 2002 bestehende Einschränkung zu verzeichnen war, welche auch noch im Zeitpunkt der Begutachtung bestand. Damit hat es beim vorinstanzlichen Entscheid sein Bewenden.
6. Der Beschwerdeführer verlangt weiter, die IV-Stelle sei in solidarischer Haftbarkeit mit der Basler Versicherung zu verpflichten, für die Kosten des Gutachtens der Gutachtenstelle Y._ aufzukommen.
Gemäss Art. 45 Abs. 1 ATSG sind die Kosten privat eingeholter Gutachten dann zu vergüten, wenn die Parteiexpertise für die Entscheidfindung unerlässlich war. Dies ist dann der Fall, wenn sich der medizinische Sachverhalt erst aufgrund des Privatgutachtens schlüssig feststellen lässt und dem Unfallversicherer insoweit eine Verletzung der ihm im Rahmen des Untersuchungsgrundsatzes obliegenden Pflicht zur rechtsgenüglichen Sachverhaltsabklärung vorzuwerfen ist.
Vorliegend konnte der Sachverhalt auf Grund des Gutachtens des Instituts Z._ vom 25. Oktober 2007 festgestellt werden. Eine zusätzliche Expertise war für eine abschliessende Beurteilung der Streitsache nicht nötig. Die Vorinstanz hat die IV-Stelle daher zu Recht nicht zur Übernahme der Gutachterkosten verpflichtet.
7. Dem Prozessausgang entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen (Art. 65 Abs. 4 lit. a in Verbindung mit Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Luzern, Sozialversicherungsrechtliche Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 16. Februar 2010
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Ursprung Schüpfer