Sachverhalt:
A. I._ (geboren 1950) ersuchte am 6. Juni 2000 erstmals um Leistungen der Invalidenversicherung. Sein Leistungsbegehren wurde am 30. März 2001 abgewiesen. Sein Begehren vom 28. August 2001 um eine Invalidenrente lehnte die IV-Stelle Luzern mit Verfügung vom 15. Oktober 2002, bestätigt mit Entscheid des Verwaltungsgerichts des Kantons Luzern vom 12. November 2003, ab. Auf sein erneutes Leistungsgesuch vom 31. März 2004 trat die IV-Stelle mit Verfügung vom 11. Juni 2004, bestätigt mit Einspracheentscheid vom 15. September 2004, nicht ein. Auf eine weitere Anmeldung trat die IV-Stelle mit Verfügung vom 22. September 2006 nicht ein. Am 15. November 2007 meldete sich I._ erneut zum Leistungsbezug an. Mit Verfügung vom 26. März 2008 trat die IV-Stelle darauf nicht ein, da keine relevante Verschlechterung des Gesundheitszustandes seit der Verfügung vom 15. Oktober 2002 ausgewiesen sei.
B. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Luzern mit Entscheid vom 2. Dezember 2009 ab, wobei es festhielt, die IV-Stelle habe irrtümlicherweise in ihrer Verfügung vom 26. März 2008 auf Nichteintreten anstelle einer Abweisung erkannt.
C. I._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, es seien der vorinstanzliche Entscheid aufzuheben, ihm eine angemessene Invalidenrente zuzusprechen resp. seine Invalidität festzustellen und die Akten zur Festlegung der Rente an die IV-Stelle zurückzuweisen. Zudem ersucht er um unentgeltliche Rechtspflege.
Erwägungen:
1. Nach Art. 105 BGG legt das Bundesgericht seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Abs. 1). Es kann diese Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Abs. 2). Die Voraussetzungen für eine Sachverhaltsrüge nach Art. 97 Abs. 1 BGG und für eine Berichtigung des Sachverhalts von Amtes wegen nach Art. 105 Abs. 2 BGG stimmen im Wesentlichen überein. Soweit es um die Frage geht, ob der Sachverhalt willkürlich oder unter verfassungswidriger Verletzung einer kantonalen Verfahrensregel ermittelt worden ist, sind strenge Anforderungen an die Begründungspflicht der Beschwerde gerechtfertigt. Entsprechende Beanstandungen sind vergleichbar mit den in Art. 106 Abs. 2 BGG genannten Rügen. Demzufolge genügt es nicht, einen von den tatsächlichen Feststellungen der Vorinstanz abweichenden Sachverhalt zu behaupten. Vielmehr ist in der Beschwerdeschrift nach den erwähnten gesetzlichen Erfordernissen darzulegen, inwiefern diese Feststellungen willkürlich bzw. unter Verletzung einer verfahrensrechtlichen Verfassungsvorschrift zustande gekommen sind. Andernfalls können Vorbringen mit Bezug auf einen Sachverhalt, der von den Feststellungen im angefochtenen Entscheid abweicht, nicht berücksichtigt werden. Vorbehalten bleiben offensichtliche Sachverhaltsmängel im Sinne von Art. 105 Abs. 2 BGG, die dem Richter geradezu in die Augen springen (BGE 133 IV 286 E. 6.2 S. 288; 133 II 249 E. 1.4.3 S. 255).
2. Die Vorinstanz hat mit einlässlicher und überzeugender Begründung gestützt auf die Berichte der Medizinischen Klinik, Spital X._, vom 5. Juni 2001, der Chirurgischen Klinik, Spital X._, vom 18. Januar 2002, der Rheumatologie, Spital X._ (nachfolgend: Rheumatologie), vom 9. Mai und 13. Juli 2007 sowie vom 18. Januar 2008 und der Frau Dr. med. L._, Fachärztin für Innere Medizin, speziell Angiologie, vom 24. Januar 2008 und unter Beachtung der Grundsätze über die Anforderungen an einen ärztlichen Bericht (BGE 125 V 351 E. 3a S. 352 mit Hinweis) zutreffend festgestellt, dass dem Versicherten die angestammte Tätigkeit als Strassenbauarbeiter nicht mehr, eine leidensangepasste Tätigkeit hingegen vollumfänglich zumutbar ist. Ebenfalls richtig ist die Erkenntnis, dass es sich bei der strittigen Verfügung nicht um ein Nichteintreten auf eine Neuanmeldung, sondern um die Abweisung eines erneuten Leistungsgesuches infolge unveränderten Verhältnissen handelt. Auf diese Ausführungen wird verwiesen (Art. 109 Abs. 3 BGG).
Was der Versicherte dagegen vorbringt, vermag nicht durchzudringen. Er begründet nicht, inwiefern die vorinstanzliche Sachverhaltsfeststellung eine Verletzung von Bundesrecht darstellt (vgl. E. 1). Soweit er vorbringt, der Sachverhalt sei offensichtlich unrichtig festgestellt worden, kann ihm nicht gefolgt werden. So geht der Vorwurf, die Vorinstanz überbewerte den Bericht der Rheumatologie vom 18. Januar 2008, während sie die Berichte vom 9. Mai resp. 13. Juli 2007 ausser Acht lasse, ins Leere. Alle drei Berichte stammen von Dr. med. M._, Oberarzt Rheumatologie, Spital X._, so dass die Vorinstanz zu Recht auf Grund von dessen Ausführlichkeit und der auf die invalidenversicherungsrechtliche Beurteilung zugeschnittenen Fragen auf den Bericht vom 18. Januar 2008 abgestellt hat. Es liegt denn auch kein Missverständnis vor: Die Beurteilung der zumutbaren Arbeitsfähigkeit in den Berichten vom 9. Mai und 13. Juli 2007 bezieht sich offensichtlich nur auf die 40 % Stelle als Magaziner ("... keine Einschränkungen für das 40%ige geplante Arbeitspensum"). Ebenfalls nicht zu beanstanden ist das Nichtabstellen auf den hausärztlichen Bericht des Dr. med. H._, Facharzt für Innere Medizin, vom 24. Februar 2008, da er - im Gegensatz zu sämtlichen übrigen Ärzten - zwar eine Einschränkung der psychischen Ressourcen festhält, diese aber nicht näher beschreibt. Auch ist aus seinem Bericht nicht ersichtlich, weshalb dem Versicherten - wiederum entgegen der Ansicht der übrigen Ärzte - eine behinderungsangepasste Tätigkeit nicht voll zumutbar und er nicht mehr in den Arbeitsprozess eingliederbar sein soll. Damit ist unerheblich, ob Dr. med. H._ von einer zumutbaren Arbeitsfähigkeit von 33 h/Woche oder von 33 % ausging. Unter diesen Umständen kann nicht gesagt werden, die Sachverhaltsfeststellung sei willkürlich resp. offensichtlich unrichtig im Sinne von Art. 105 Abs. 2 BGG (vgl. Botschaft des Bundesrates vom 28. Februar 2001 zur Totalrevision der Bundesrechtspflege, BBl 2001 4338 und E. 1).
Schliesslich legt der Versicherte nicht dar, inwiefern die fünfzeilige Aktennotiz der Vorinstanz vom 21. Januar 2010 in einem anderen, ihn betreffenden Verfahren ein zulässiges Novum im Sinne von Art. 99 Abs. 1 BGG sein soll (BGE 133 III 393 E. 3 S. 395). Diese bleibt daher unbeachtlich.
3. Da die Beschwerde offensichtlich unbegründet ist, wird sie im Verfahren nach Art. 109 BGG, d.h. ohne Durchführung eines Schriftenwechsels und mit summarischer Begründung, erledigt.
4. 4.1 Die Beschwerde ist als aussichtslos zu bezeichnen, da die erhobenen Rügen bereits von der Vorinstanz ausführlich und überzeugend widerlegt wurden, so dass sie den kantonalen Entscheid nicht ernsthaft in Frage zu stellen vermögen. Das Gesuch um unentgeltliche Rechtspflege ist demzufolge abzuweisen (Art. 64 Abs. 1 BGG).
4.2 Das Verfahren ist kostenpflichtig. Der unterliegende Beschwerdeführer hat die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Luzern, Sozialversicherungsrechtliche Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 31. März 2010
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Ursprung Riedi Hunold