Sachverhalt:
A. A.a D._, geboren 1965, reiste 1991 als Asylbewerber aus dem Kosovo in die Schweiz ein. Er absolvierte einen Wiedereingliederungskurs "Holzbearbeiter 97/1" vom 6. Januar bis 19. Juni 1997 und meldete sich am 28. September 2000 ein erstes Mal zum Bezug von Leistungen der Invalidenversicherung an. Die IV-Stelle Luzern wies das Begehren mit Verfügung vom 28. März 2001 ab, da das diagnostizierte Handekzem nur bei Tätigkeiten im Baugewerbe einschränkend sei.
A.b Am 4. Juni 2007 stellte D._ Antrag auf Ausrichtung einer Invalidenrente. Er gab an, seit 1987 infolge Haft und Folter unter einer posttraumatischen Belastungsstörung mit Angst, Schreckhaftigkeit, Flashbacks, vegetativer Übererregbarkeit, Schlafstörungen, Albträumen und Ekzemen zu leiden. Die IV-Stelle holte den Bericht des behandelnden Arztes Dr. med. K._, Psychiatrie und Psychotherapie FMH, vom 24. Juli 2007 ein. Bei Dr. med. B._, Psychiatrie und Psychotherapie FMH, gab sie ein Gutachten (vom 1. September 2008) in Auftrag. Nach einem Gespräch mit dem Versicherten am 16. November 2007 versuchte die IV-Stelle ein Arbeitstraining in die Wege zu leiten. Der Regionale Ärztliche Dienst (RAD) lud D._ zu Gesprächen am 20. April und 7. Juli 2009 ein, denen der Versicherte unentschuldigt fernblieb.
Am 20. Juli 2009 teilte die IV-Stelle D._ mit, in der Beruflichen Abklärungsstelle (BEFAS) sei die Eingliederungs- und Arbeitsfähigkeit abzuklären. Die dafür festgesetzten Termine - für ein Informationsgespräch am 20. August 2009 und für den Abklärungsbeginn am 22. September 2009 - hielt D._ ebenfalls nicht ein. Mit Schreiben vom 23. September 2009 forderte die IV-Stelle ihn auf, bis spätestens am 2. Oktober 2009 einen neuen Abklärungstermin zu vereinbaren. Er habe das zur Durchführung der Massnahme Nötige beizutragen. Bei Unterlassung werde aufgrund der Akten verfügt, was einen negativen Entscheid zur Folge haben könne. Am 29. September 2009 trat D._ die BEFAS-Abklärung an; brach sie aber am gleichen Tag wegen Müdigkeit ab. Aus dem gleichen Grund und wegen Übelkeit sagte er am 14. Oktober 2009 auch den Wiedereintritt in die Institution ab. Am 22. Oktober 2009 brach diese die Abklärung wegen Verweigerung ab.
Mit Verfügung vom 27. April 2010 trat die IV-Stelle auf das Leistungsbegehren nicht ein, da D._ trotz Durchführung des Mahn- und Bedenkzeitverfahrens an zumutbaren Abklärungen nicht teilgenommen habe; ohne diese sei es nicht möglich, den Leistungsanspruch rechtsgenüglich zu beurteilen.
B. Soweit es darauf eintrat, wies das Verwaltungsgericht des Kantons Luzern die dagegen eingereichte Beschwerde mit Entscheid vom 31. August 2011 ab.
C. D._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten. Er beantragt, die Verwaltung sei anzuweisen, auf das Leistungsgesuch einzutreten und einen mit Folteropfern und -traumatisierungen erfahrenen Psychiater zur Begutachtung der Zumutbarkeit einer BEFAS-Abklärung beizuziehen; zudem ersucht er um die Gewährung der unentgeltlichen Prozessführung.
Das Bundesgericht führt keinen Schriftenwechsel durch.
Erwägungen:
1. Die Beschwerde kann wegen Rechtsverletzung gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG) und kann die Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG) und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG).
2. 2.1 Die medizinische und/oder erwerbliche Abklärung ist eine unabdingbare gesetzlich verankerte Voraussetzung für die Zusprache einer Leistung der Invalidenversicherung (Art. 7 Abs. 2, Art. 16, Art. 43 Abs. 1 ATSG). Der Versicherer, der darüber befindet, mit welchen Mitteln er den rechtserheblichen Sachverhalt abklärt, hat im Rahmen der Verfahrensleitung einen grossen Ermessensspielraum hinsichtlich Notwendigkeit, Umfang und Zweckmässigkeit von Erhebungen. Was zu beweisen ist, ergibt sich aus der Sach- und Rechtslage. Gestützt auf den Untersuchungsgrundsatz hat der Versicherer den Sachverhalt soweit zu ermitteln, dass er über den Leistungsanspruch zumindest mit dem Beweisgrad der überwiegenden Wahrscheinlichkeit entscheiden kann (vgl. dazu BGE 126 V 353 E. 5b S. 360).
2.2 Der Untersuchungsgrundsatz wird ergänzt durch die Mitwirkungspflichten der Versicherten (vgl. BGE 125 V 193 E. 2 S. 195). Danach haben sie sich den ärztlichen oder fachlichen Untersuchungen zu unterziehen, wenn diese für die Beurteilung notwendig und zumutbar sind (Art. 43 Abs. 2 ATSG). Die rechtsanwendenden Stellen haben sich dabei von rechtsstaatlichen Grundsätzen leiten zu lassen, wozu die Verpflichtung zur Objektivität und Unvoreingenommenheit (vgl. ULRICH MEYER-BLASER, Das medizinische Gutachten aus sozialrechtlicher Sicht, in: Adrian M. Siegel/Daniel Fischer [Hrsg.], Die neurologische Begutachtung, Schweizerisches medico-legales Handbuch, Bd. 1, Zürich 2004, S. 105) ebenso gehört, wie der Grundsatz der rationellen Verwaltung (vgl. MARKUS FUCHS, Rechtsfragen im Rahmen des Abklärungsverfahrens bei Unfällen, in: SZS 2006 S. 288) (U 571/06 vom 29. Mai 2007, E. 4.1).
2.3 Kommen Personen, die Leistungen beanspruchen, den Auskunfts- oder Mitwirkungspflichten in unentschuldbarer Weise nicht nach, so kann der Versicherer aufgrund der Akten verfügen oder die Erhebungen einstellen und Nichteintreten beschliessen. Er muss diese Personen vorher schriftlich mahnen und auf die Rechtsfolgen hinweisen. Es ist ihnen eine angemessene Bedenkzeit einzuräumen (Mahn- und Bedenkzeitverfahren; Art. 42 Abs. 3 ATSG).
3. Streitig und zu prüfen ist, ob die Beschwerdegegnerin zu Recht auf das Leistungsgesuch nicht eingetreten ist.
3.1 Der Beschwerdeführer bringt vor, die Frage der Zumutbarkeit der BEFAS-Abklärung sei nicht hinreichend abgeklärt worden. Er habe sich einer solchen nicht einfach verweigert, sondern die damit verbundene Belastung wegen seiner Erkrankung nicht ertragen können. Dr. med. K._ sei immer der Meinung gewesen, diese Untersuchung sei wegen der posttraumatischen Störungen eine Überforderung, und habe deshalb ein Dispensationsgesuch vorgeschlagen. Er hingegen habe den Versuch wagen wollen, sei dabei jedoch in Flashback-Situationen "hineingelaufen", was zu Unrecht als Verweigerung interpretiert worden sei. Es gehe nicht um ein Nichtwollen, sondern er könne Expositionen nicht durchstehen, die ihn nur entfernt an das Trauma des Ausgeliefertseins erinnern würden. Die Verwaltung habe den Bericht eines Psychiaters einzuholen, der mit der Situation von Folteropfern und ihrer Belastung durch nicht ganz alltägliche Situationen vertraut sei.
3.2 Die Vorinstanz hat sich in ihren Erwägungen 3c und d ausführlich mit den fachärztlichen Einschätzungen befasst:
3.2.1 Dr. med. K._ habe eine seit 1989 bestehende posttraumatische Belastungsstörung (ICD-10 F43.1) zufolge Folterungen in einem serbischen Gefängnis und eine seit Kindheit anhaltende ADHS (Aufmerksamkeitsdefizit- und Hyperaktivitätsstörung; ICD-10 F90.0) diagnostiziert. Der Versicherte leide unter Intrusionen [d.h. Wiedererinnern, -erleben, Flashbacks], Hyperarousal [d.h. Symptome der Übererregung wie z.B. Schlaflosigkeit, Schreckhaftigkeit, starke Angst, Beklemmung], Vermeidung und kognitiven Veränderungen, wobei die Traumatisierungen sich aufgrund der ADHS-Disposition besonders eindringlich auswirken würden und darum eine vollständige Arbeitsunfähigkeit bestehe. Der Versicherte sei aufgrund der Primärpersönlichkeit vermindert beanspruchbar. Mit der schwer ausgeprägten Belastungsstörung sei er auf dem Arbeitsmarkt - auch in geschütztem Rahmen - nicht einsetzbar.
3.2.2 Zu den Aussagen des Gutachters Dr. med. B._ erwog das Gericht, dieser habe gestützt auf die Akten und die persönliche Exploration eine einfache Aktivitäts- und Aufmerksamkeitsstörung (ICD-10 F90.0) und eine andauernde Persönlichkeitsänderung nach Extrembelastung (ICD-10 F62.0) diagnostiziert. Nach vor Jahrzehnten durchgemachten traumatisierenden Erlebnissen habe er eine posttraumatische Belastungsstörung nicht mehr feststellen können. Im Rahmen eines Rehabilitationsversuchs gehe es nach seinen Ausführungen gerade darum, den Versicherten in seinem Alltag zu beobachten, sein Verhalten zu beschreiben, ihn ergotherapeutisch zu fördern, ihn in einem Arbeitsprogramm zu integrieren und ihn psychiatrisch-therapeutisch zu begleiten. Ohne diese Massnahme sei eine erfolgreiche berufliche Wiedereingliederung nicht möglich.
3.3 Die Vorinstanz hat diese Einschätzungen in Berücksichtigung der beweisrechtlich bedeutsamen Verschiedenheit von Behandlungs- und Begutachtungsauftrag (BGE 125 V 351 E. 3b/cc S. 353 mit Hinweisen; Urteil I 655/05 vom 20. März 2006 E. 5.4 mit Hinweisen) mit Sorgfalt gewürdigt. Sie hat festgestellt, gerade auch mit Blick darauf, dass dem Versicherten im Rahmen der Begutachtung eine zweimalige Untersuchung nicht schwer gefallen sei, sei die Aussage des behandelnden Arztes zweifelhaft, dass die Absolvierung einer beruflichen Abklärung grundsätzlich nicht möglich oder zumutbar sein sollte. Dem Gutachten folgend sei das psychische Zustandsbild nicht dermassen hochgradig auffällig, dass keine Rehabilitationsmassnahmen begonnen werden könnten.
3.4 Die vorinstanzliche Beweiswürdigung hält im Rahmen der gesetzlichen Kognition (E. 1) stand. Es ist nicht einsichtig, warum die BEFAS-Abklärung derart traumatisierend sein sollte, dass sie dem Beschwerdeführer nicht möglich ist. Dr. med. B._ hat die traumatischen Gefängniserlebnisse gewürdigt und ihnen sogar grösste Bedeutung zugemessen. Da der Beschwerdeführer im Rahmen der psychiatrischen Exploration jeweils pünktlich und gepflegt zu den Untersuchungen erscheinen konnte, leuchtet nicht ein, warum er eine entsprechende Anstrengung nicht auch für die berufliche Abklärung, die ihm entgegenkommenderweise mit einem Anfangspensum von 50 % angeboten worden war, aufbringen soll und kann. Immerhin war er 1997 trotz der damals noch weniger weit zurückliegenden traumatischen Erlebnisse in der Lage, einen halbjährigen Berufskurs abzuschliessen und konnte er auch verschiedentlich, so am 7. Juli 2009, am 4. April 2008 und am 17. November 2007 an längeren Gesprächen auf der IV-Stelle teilnehmen.
3.5 Wer eine Versicherungsleistung beansprucht, muss eine gewisse Belastung durch die Abklärungen in Kauf nehmen. Dass eine zusätzliche Abklärung immer eine solche bedeutet, kann nicht dazu führen, dass die rechtsanwendenden Behörden darauf verzichten sollen, solange sie noch nicht zur Auffassung gelangt sind, bereits aufgrund der Akten eine rechtsgenügende Beurteilung vornehmen zu können. Bei diesem Entscheid kommt der Verwaltung ein Ermessensspielraum zu, in den die Gerichte ohne triftigen Grund nicht eingreifen. Nach dem Gesagten hat die Vorinstanz zu Recht das Vorgehen der Beschwerdegegnerin geschützt, das Verfahren mit einem Nichteintretensentscheid zu erledigen, weil es ihr aufgrund des Verhaltens des Beschwerdeführers nicht möglich war, den Sachverhalt ausreichend abzuklären und den Leistungsanspruch zu beurteilen.
4. Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG). Seinem Gesuch um unentgeltliche Rechtspflege wird entsprochen (Art. 64 Abs. 1 BGG). Er hat der Gerichtskasse Ersatz zu leisten, wenn er später dazu in der Lage ist (Art. 64 Abs. 4 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt.
3. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Gerichtskasse genommen.
4. Rechtsanwältin Heidi Koch-Amberg wird als unentgeltliche Anwältin des Beschwerdeführers bestellt, und es wird ihr für das bundesgerichtliche Verfahren aus der Gerichtskasse eine Entschädigung von Fr. 2'800.- ausgerichtet.
5. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Luzern, Sozialversicherungsrechtliche Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 1. Dezember 2011
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Der Gerichtsschreiber: Schmutz