Sachverhalt:
A. D._, geboren 1965, hat mehrmals Gesuche um Leistungen der Invalidenversicherung gestellt, welche infolge nicht rentenbegründendem Invaliditätsgrad abgewiesen oder darauf mangels wesentlicher Änderung des Gesundheitszustandes nicht eingetreten wurde (vgl. Urteile I 285/01 vom 29. April 2002 und I 470/04 vom 13. Januar 2005 sowie Entscheide des Verwaltungsgerichts Appenzell Ausserrhoden vom 20. Juni 2007 und 17. Juni 2009). Mit Verfügung vom 11. Januar 2011 trat die IV-Stelle Appenzell Ausserrhoden auf die Neuanmeldung vom 12. August 2010 mangels wesentlicher Änderung des Gesundheitszustandes seit der letzten materiellen Prüfung im Jahr 2003 nicht ein.
B. Die dagegen erhobene Beschwerde wies das Obergericht Appenzell Ausserrhoden mit Entscheid vom 21. September 2011 ab.
C. D._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, es seien der vorinstanzliche Entscheid aufzuheben und die IV-Stelle zu verpflichten, auf sein Leistungsgesuch vom 12. August 2010 einzutreten und dieses materiell zu prüfen; eventualiter sei ein polydisziplinäres Gutachten einzuholen.
Erwägungen:
1. 1.1 Die Beschwerde kann wegen Rechtsverletzung gemäss Art. 95 und Art. 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist somit weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (vgl. BGE 130 III 136 E. 1.4 S. 140). Gemäss Art. 42 Abs. 1 BGG ist die Beschwerde hinreichend zu begründen, andernfalls wird darauf nicht eingetreten (Art. 108 Abs. 1 lit. b BGG). Das Bundesgericht prüft grundsätzlich nur die geltend gemachten Rügen; es ist nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu prüfen, wenn diese vor Bundesgericht nicht mehr vorgetragen wurden. Es kann die Verletzung von Grundrechten und von kantonalem und interkantonalem Recht nur insofern prüfen, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG).
1.2 Nach Art. 105 BGG legt das Bundesgericht seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Abs. 1). Es kann diese Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Abs. 2). Die Voraussetzungen für eine Sachverhaltsrüge nach Art. 97 Abs. 1 BGG und für eine Berichtigung des Sachverhalts von Amtes wegen nach Art. 105 Abs. 2 BGG stimmen im Wesentlichen überein. Soweit es um die Frage geht, ob der Sachverhalt willkürlich oder unter verfassungswidriger Verletzung einer kantonalen Verfahrensregel ermittelt worden ist, sind strenge Anforderungen an die Begründungspflicht der Beschwerde gerechtfertigt. Entsprechende Beanstandungen sind vergleichbar mit den in Art. 106 Abs. 2 BGG genannten Rügen. Demzufolge genügt es nicht, einen von den tatsächlichen Feststellungen der Vorinstanz abweichenden Sachverhalt zu behaupten. Vielmehr ist in der Beschwerdeschrift nach den erwähnten gesetzlichen Erfordernissen darzulegen, inwiefern diese Feststellungen willkürlich bzw. unter Verletzung einer verfahrensrechtlichen Verfassungsvorschrift zustande gekommen sind. Andernfalls können Vorbringen mit Bezug auf einen Sachverhalt, der von den Feststellungen im angefochtenen Entscheid abweicht, nicht berücksichtigt werden. Vorbehalten bleiben offensichtliche Sachverhaltsmängel im Sinne von Art. 105 Abs. 2 BGG, die dem Richter geradezu in die Augen springen (BGE 133 IV 286 E. 6.2 S. 288; 133 II 249 E. 1.4.3 S. 255).
1.3 Die auf Grund medizinischer Untersuchungen gerichtlich festgestellte Arbeitsfähigkeit betrifft eine Tatfrage (BGE 132 V 393 E. 3.2 S. 397). Analoges gilt für die Frage, ob sich eine Arbeitsfähigkeit in einem bestimmten Zeitraum in einem rentenrevisionsrechtlich relevanten Sinne (Art. 17 ATSG; Art. 87 Abs. 3 und 4 IVV) verändert hat; rechtlicher Natur sind demgegenüber die Fragen, welche Vergleichszeitpunkte im Rahmen einer Neuanmeldung heranzuziehen und wie hohe Anforderungen an das Glaubhaftmachen im Sinne von Art. 87 Abs. 3 IVV zu stellen sind (Urteil I 692/06 vom 19. Dezember 2006 E. 3.1). Ebenfalls Rechtsfragen sind die unvollständige Feststellung rechtserheblicher Tatsachen sowie die Missachtung des Untersuchungsgrundsatzes (Art. 43 Abs. 1, Art. 61 lit. c ATSG) und der Anforderungen an den Beweiswert von Arztberichten (BGE 134 V 231 E. 5.1 S. 232). Die konkrete Beweiswürdigung ist Tatfrage (in BGE 135 V 254 nicht publ. E. 4.1, vgl. jedoch SVR 2009 IV Nr. 53 S. 164 [9C_204/2009]; Urteil 8C_546/2011 vom 14. November 2011 E. 1).
2. Die Vorinstanz hat die Bestimmungen und Grundsätze über das zeitlich massgebende Recht (BGE 130 V 445), den massgebenden Sachverhalt (BGE 132 V 215 E. 3.1.1 S. 220), die Voraussetzungen der Prüfung einer Neuanmeldung (Art. 87 Abs. 3 und 4 IVV in Verbindung mit Art. 17 ATSG; BGE 130 V 64), namentlich die zeitlichen Vergleichspunkte (BGE 133 V 108 E. 5.3.1 S. 112; 130 V 71), zutreffend dargelegt. Dasselbe gilt für den Beweiswert von ärztlichen Berichten (BGE 134 V 231 E. 5.1 S. 232; 125 V 351 E. 3a S. 352), namentlich von Hausärzten (BGE 125 V 351 E. 3b/cc S. 353) und behandelnden Spezialisten (BGE 135 V 465 E. 4.5 S. 470). Darauf wird verwiesen.
3. Die Vorinstanz hat gestützt auf die Berichte des PD Dr. med. K._, Facharzt für Allgemeine Medizin, vom 6. Mai 2010 und des Dr. med. T._, Klinik X._, vom 1. Juni 2010 einerseits und des Psychiatriezentrums Y._ vom 20. März 2002 und des Dr. med. T._ vom 20. August 2003 andererseits festgestellt, dass keine erhebliche Änderung des Gesundheitszustandes, sondern lediglich eine andere Einschätzung eines im Wesentlichen unveränderten Befundes vorliege; auch eine relevante Änderung der Arbeits- resp. Erwerbsfähigkeit sei gestützt auf die ärztlichen Berichte nicht ausgewiesen.
Daran vermögen auch die Einwände des Versicherten nichts zu ändern. PD Dr. med. K._ hält in seinem Bericht vom 6. Mai 2010 fest, der somatische Gesundheitszustand habe sich nicht verändert. Bezüglich einer Arbeitsunfähigkeit aus somatischen Gründen führt PD Dr. med. K._ aus, diese sei durch eine Evaluation der Leistungsfähigkeit festzustellen; er gibt allerdings keine Begründung, nicht einmal einen Anhaltspunkt dafür an, weshalb sich die Arbeitsfähigkeit aus somatischer Sicht seit 2003 verschlechtert haben soll. Es ist somit nicht glaubhaft dargelegt, weshalb trotz des unveränderten gesundheitlichen Zustandes nun eine relevante Arbeitsunfähigkeit aus somatischen Gründen gegeben sein soll. Beim psychischen Gesundheitszustand vermutet PD Dr. med. K._ infolge der Chronifizierung eine Verschlechterung. Aber auch hier fehlt ein Anhaltspunkt, inwiefern das bereits 2003 als chronifiziert bezeichnete Geschehen (somatoforme Schmerzstörung, ICD-10: F 45.4) sich verschlechtert haben soll. Demnach ist mit dem Bericht des PD Dr. med. K._ keine erhebliche Veränderung des Gesundheitszustandes oder der Arbeitsfähigkeit glaubhaft gemacht. Bezüglich des Berichts des Dr. med. T._ vom 1. Juni 2010 hält die Vorinstanz zutreffend fest, dass für die Glaubhaftmachung einer Verschlechterung des Gesundheitszustandes das Anführen einer zusätzlichen Diagnose nicht ausreicht, sofern dies bloss eine andere Beurteilung eines an sich unveränderten Sachverhalts darstellt; vielmehr ist notwendig, dass das gesundheitliche Gesamtbild oder seine Auswirkungen sich tatsächlich verändert haben (vgl. Urteil 9C_1021/2008 vom 28. Januar 2009 E. 2.2 mit Hinweisen). Dies lässt sich jedoch dem Bericht des Dr. med. T._ vom 1. Juni 2010 nicht entnehmen. Es wird darin nicht dargelegt, inwiefern sich der Befund verändert hat resp. welche zusätzlichen Einschränkungen vorliegen. Auch bezüglich der Arbeitsfähigkeit lässt sich keine Veränderung feststellen, hat Dr. med. T._ doch bereits seit Jahren eine volle Arbeitsunfähigkeit attestiert. Bei dieser Sach- und Rechtslage durfte die Vorinstanz - auch unter Ausserachtlassung der Berichte des RAD-Arztes - ohne Verletzung von Bundesrecht das Nichteintreten der IV-Stelle mangels Glaubhaftmachung einer erheblichen Änderung der Verhältnisse bestätigen.
4. Das Verfahren ist kostenpflichtig. Der unterliegende Beschwerdeführer hat die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Obergericht Appenzell Ausserrhoden und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 4. April 2012
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Die Gerichtsschreiberin: Riedi Hunold