Sachverhalt:
A. F._, geboren 1974, meldete sich am 21. Februar 2005 bei der Invalidenversicherung zum Leistungsbezug an und ersuchte um Gewährung beruflicher Massnahmen. Am 20. März 2007 bejahte die IV-Stelle Luzern einen Anspruch auf Arbeitsvermittlung. Mit Verfügungen vom 20. Juli und 3. August 2011 sprach sie dem Versicherten zudem ab dem 1. November 2005 eine ganze, bis zum 30. April 2006 befristete und ab dem 1. Januar 2011 wiederum eine ganze Invalidenrente zu.
B. Die dagegen erhobene Beschwerde hiess das Verwaltungsgericht des Kantons Luzern mit Entscheid vom 5. Juli 2012 gut und sprach F._ ab dem 1. November 2004 eine ganze Invalidenrente zu.
C. Die IV-Stelle Luzern führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag auf Aufhebung des angefochtenen Entscheides. Dem Versicherten sei - unter Anrechnung der in diesem Zeitraum ausgerichteten Taggelder - bereits ab dem 1. Juni 2009 (statt ab dem 1. Januar 2011) eine ganze Invalidenrente zuzusprechen, im Übrigen aber seien die Verfügungen vom 20. Juli und 3. August 2011 zu bestätigen. Des Weiteren ersucht die IV-Stelle um Gewährung der aufschiebenden Wirkung ihrer Beschwerde.
Während F._ auf Abweisung der Beschwerde schliessen und eventualiter um Gewährung der unentgeltlichen Rechtspflege ersuchen lässt, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.
D. Mit Verfügung vom 14. November 2012 hat die Instruktionsrichterin dem Antrag der IV-Stelle betreffend aufschiebende Wirkung stattgegeben, nachdem der Versicherte dazu nicht Stellung genommen hat.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss den Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG). Mit Blick auf diese Kognitionsregelung ist aufgrund der Vorbringen in der Beschwerde ans Bundesgericht zu prüfen, ob der angefochtene Gerichtsentscheid in der Anwendung der massgeblichen materiell- und beweisrechtlichen Grundlagen (unter anderem) Bundesrecht verletzt (<ref-law>), einschliesslich einer allfälligen rechtsfehlerhaften Tatsachenfeststellung (Art. 97 Abs. 1, Art. 105 Abs. 2 BGG).
2. Strittig ist, ob dem Versicherten ab dem 1. November 2004 eine unbefristete ganze Invalidenrente zusteht. Das kantonale Gericht hat die für die Beurteilung der Streitsache massgebenden Bestimmungen und Grundsätze zutreffend dargelegt. Darauf wird verwiesen.
3. Nach eingehender Würdigung der medizinischen Berichte ist die Vorinstanz zum Schluss gelangt, dass der Versicherte aufgrund eines Rückenleidens seit Oktober 2003 gänzlich arbeitsunfähig gewesen und nach Ablauf des Wartejahrs (<ref-law> in der ab 1. Januar 2003 gültig gewesenen Fassung), somit ab dem 1. November 2004 ein Anspruch auf eine ganze Invalidenrente ausgewiesen sei. Sie hat dabei sinngemäss im Wesentlichen erwogen, dass nach den am 19. Dezember 2003 und am 29. August 2005 erfolgten Rückenoperationen keine Verbesserung des Gesundheitszustandes eingetreten sei und dem vormals als Bauarbeiter tätig gewesenen Versicherten auch keine leichtere Arbeit habe zugemutet werden können. Im weiteren Verlauf sei ein schweres depressives Leiden hinzugetreten.
Die Beschwerde führende IV-Stelle rügt, dass das kantonale Gericht zu Unrecht nicht auf das von ihr eingeholte Gutachten des Dr. med. L._, Innere Medizin und Rheumaerkrankungen FMH, sowie der Dres. med. B._ und C._, Psychiatrie und Psychotherapie FMH, vom 16. Januar 2007 abgestellt habe, wobei im Wesentlichen die vorinstanzliche Beweiswürdigung als rechtsfehlerhaft beanstandet wird.
4. Die bundesgerichtliche Überprüfung der vorinstanzlichen Beweiswürdigung hat sich darauf zu beschränken, ob mit Blick auf die vorgebrachten Rügen die Sachverhaltsfeststellung im angefochtenen Entscheid offensichtlich unrichtig ist oder eine Verletzung der diesbezüglich massgeblichen Regeln über den Beweiswert von ärztlichen Berichten vorliegt (vgl. E. 1). Zu beachten ist hier der Grundsatz, dass das Gericht Gutachten externer Spezialärzte, welche von Versicherungsträgern im Verfahren nach <ref-law> eingeholt wurden und den Anforderungen der Rechtsprechung entsprechen, vollen Beweiswert zuerkennen darf, solange nicht konkrete Indizien gegen die Zuverlässigkeit der Expertise sprechen (<ref-ruling> E. 1.3.4 S. 227; <ref-ruling> E. 4.4 S. 470; <ref-ruling> E. 3b/bb S. 353).
5. Hinsichtlich des Zeitraums vom 1. November 2004 bis zum 30. Oktober 2005 macht die IV-Stelle sinngemäss im Wesentlichen geltend, dass der rheumatologische Gutachter entsprechend seinem Begutachtungsauftrag eine versicherungsmedizinisch differenzierte und ihrer Auffassung nach überzeugende Beurteilung der Arbeitsfähigkeit nach Abschluss der auf die erste Operation am 19. Dezember 2003 folgende und jedenfalls am 1. November 2004 längst abgeschlossene Rehabilitationsphase abgegeben und eine dem Rückenleiden angepasste Tätigkeit als vollzeitig zumutbar erachtet habe.
Allein der Umstand, dass das kantonale Gericht der gutachtlichen Einschätzung nicht gefolgt ist, begründet nicht von vornherein eine offensichtliche Unrichtigkeit oder Rechtsfehlerhaftigkeit des angefochtenen Entscheides. Die Beschwerde führende IV-Stelle vermag nicht darzutun, inwiefern damit Beweiswürdigungsregeln verletzt worden wären. Die Vorinstanz hat eingehend erörtert, weshalb ihrer Auffassung nach nicht auf das Gutachten abzustellen sei, und damit die diesbezüglich rechtsprechungsgemäss erforderlichen Indizien genannt, welche gegen dessen Zuverlässigkeit sprachen. Entscheidwesentlich ist im Übrigen (nur), ob die vorinstanzliche Beweiswürdigung der bundesgerichtlichen Prüfung auf eine offensichtliche Unrichtigkeit der Sachverhaltsfeststellung hin standzuhalten vermag. Diesbezüglich bringt die IV-Stelle einzig vor, dass sich die Bescheinigung einer gänzlichen Arbeitsunfähigkeit, auf welche sich die Vorinstanz zu Unrecht gestützt habe, lediglich auf die angestammte Tätigkeit und nicht auf zumutbare Verweistätigkeiten bezogen habe. Dies trifft indessen nicht zu. Nach den vorinstanzlichen Erwägungen war das Attest des Dr. med. W._, Allgemeine Medizin FMH, vom 10. März 2005 massgeblich. Wie sich dem Bericht entnehmen lässt, waren dem Versicherten auch leichte Arbeiten nicht zuzumuten. Auch diesem Einwand der IV-Stelle kann daher nicht gefolgt werden und es ist aus diesem Grund insbesondere auf die Rüge, dass die Vorinstanz zu Unrecht auf einen Einkommensvergleich verzichtet habe, ebenfalls nicht weiter einzugehen.
6. Streitig ist des Weiteren, ob, wie gutachtlich bescheinigt, nach der zweiten Rückenoperation eine rentenerhebliche - ab dem 1. Mai 2006 zu berücksichtigende - Verbesserung des Gesundheitszustandes eingetreten sei. Die IV-Stelle beanstandet diesbezüglich, dass die Vorinstanz den Verlauf des Gesundheitszustandes nicht überprüft habe, welcher Einwand ebenfalls nicht zutrifft. Das kantonale Gericht hat die medizinischen Berichte auch für den Zeitraum ab dem 30. April 2006 eingehend und sorgfältig gewürdigt. Es hat erwogen, dass sich der Versicherte nach dieser zweiten Operation kontinuierlich in fachärztlicher ambulanter sowie (mehrfach) auch stationärer Behandlung befunden habe. Die Vorinstanz ist zur Auffassung gelangt, dass aufgrund der erstatteten Berichte eine Besserung zunächst hinsichtlich der somatischen Beschwerden nicht habe erreicht werden können, schon im Frühjahr 2006 die Verdachtsdiagnose einer somatoformen Schmerzverarbeitungsstörung gestellt worden, im November 2006 angesichts der vom Versicherten geäusserten Suizidgedanken eine psychotherapeutische Behandlung empfohlen worden und schliesslich der ab Februar 2007 behandelnde Psychiater von einem schweren depressiven Zustandsbild seit mindestens einem Jahr ausgegangen sei. Mit Blick auf die hier nur auszugsweise dargelegten eingehenden vorinstanzlichen Erwägungen lässt sich jedenfalls nicht begründen, dass keinerlei Indizien gegen die Zuverlässigkeit des von der IV-Stelle eingeholten Gutachtens genannt worden wären. Eine Verletzung der Regeln über den Beweiswert von ärztlichen Berichten ist damit nicht dargetan. Eine offensichtliche Unrichtigkeit der vorinstanzlichen Feststellungen wird allein insoweit geltend gemacht, als sie den psychischen Gesundheitszustand betreffen. So räumt die IV-Stelle letztinstanzlich zwar ein, dass ein schweres psychisches, invalidisierendes Leiden ab dem Zeitpunkt der Einweisung des Versicherten in die Klinik X._ am 6. März 2009 und damit ein Anspruch auf eine ganze Invalidenrente ab dem 1. Juni 2009 ausgewiesen sei. Wie dargelegt ging die Vorinstanz davon aus, dass dieser Zustand bereits seit anfangs 2006 bestanden hat, wozu sich die IV-Stelle nicht äussert.
7. Zusammengefasst ist entscheidwesentlich, dass die Einwände der Beschwerde führenden IV-Stelle eine rechtsfehlerhafte Feststellung des Gesundheitszustandes durch Verletzung von Beweiswürdigungsregeln nicht zu begründen vermögen und die vorgebrachten Rügen den angefochtenen Entscheid auch nicht als offensichtlich unrichtig erscheinen lassen. Dabei fällt im Ergebnis auch in Betracht, dass die intensiven Eingliederungsbemühungen seit September 2009 zumindest insofern gescheitert sind, als die IV-Stelle selber im Dezember 2011 unter Mitwirkung ihres Regionalen Ärztlichen Dienstes (RAD) festgestellt hat, eine Verwertung der bis anhin von ihr angenommenen Restarbeitsfähigkeit in der freien Wirtschaft sei nicht möglich.
8. Das Verfahren ist kostenpflichtig (<ref-law>). Die Gerichtskosten werden dem Prozessausgang entsprechend der Beschwerde führenden IV-Stelle auferlegt (<ref-law>); des Weiteren hat sie dem Beschwerdegegner eine Parteientschädigung zu bezahlen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdeführerin auferlegt.
3. Die Beschwerdeführerin hat den Rechtsvertreter des Beschwerdegegners für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Luzern, Sozialversicherungsrechtliche Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 12. März 2013
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Leuzinger
Die Gerichtsschreiberin: Durizzo