Sachverhalt:
A. A.a P._, geboren 1961, verfügt über eine 1983 abgeschlossene landwirtschaftliche Ausbildung. Am 17. Oktober 1988 verunglückte er beim Obstpflücken und verletzte sich am rechten Handgelenk. Im Jahre 1989 übernahm er den elterlichen Hof, auf welchem er bereits bis dahin im Angestelltenverhältnis mitgearbeitet hatte, und ging zusätzlich Tätigkeiten in einem Schlosserbetrieb, später in einer Gerätefirma nach. Mit Verfügung vom 6. April 1995 wies die IV-Stelle des Kantons Luzern das Rentenbegehren des P._ ab. Die Schweizerische Unfallversicherungsanstalt (SUVA), welche bereits für die Heilbehandlung betreffend das rechte Handgelenk aufgekommen war, richtete ab 1. Mai 1997 eine Rente bei einem Invaliditätsgrad von 15 % aus. Nachdem P._ mit Neuanmeldung vom 14. Januar 1998 bei der Invalidenversicherung eine Verschlechterung des Gesundheitszustandes geltend gemacht hatte, sprach ihm die IV-Stelle namentlich Kostenübernahme für Dienstleistungen Dritter zu (Mitteilungen vom 24. Januar 2000, 14. Juni 2001, 1. Februar 2002).
A.b Am 4. Juni 2002 meldete sich P._ erneut bei der Invalidenversicherung zum Rentenbezug an. Die IV-Stelle veranlasste insbesondere ein landwirtschaftliches Gutachten vom 7. November 2002. Am 3. Dezember 2002 sprach ihm die IV-Stelle Beratung und Unterstützung bei der Stellensuche zu. Die hiegegen erhobene Beschwerde zog P._ in der Folge zurück. Die SUVA erhöhte die Invalidenrente auf 25 % und sprach P._ eine Integritätsentschädigung bei einer Integritätseinbusse von 10 % zu (Verfügung vom 29. April 2003, bestätigt mit Einspracheentscheid vom 1. September 2003). Die IV-Stelle veranlasste einen Abklärungsbericht Landwirtschaft vom 20. Juli 2004, der ergab, dass P._ auf seinem Landwirtschaftsbetrieb nicht optimal eingegliedert sei. Sie wies das Rentengesuch mit Verfügung vom 11. August 2004 ab (bestätigt mit Einspracheentscheid vom 4. April 2008). Das Verwaltungsgericht des Kantons Luzern hiess eine gegen den Einspracheentscheid der SUVA vom 1. September 2003 erhobene Beschwerde des P._ am 17. Januar 2005 gut und wies die Sache zur neuen Abklärung an die SUVA zurück. Diese beauftragte das Zentrum für Medizinische Begutachtung (ZMB), mit einer Expertise vom 29. August 2006 und verfügte am 9. Januar 2007 die Zusprechung einer Rente bei einem IV-Grad von 29 %. Die IV-Stelle holte einen weiteren Abklärungsbericht Landwirtschaft vom 23. Mai 2007 ein, worin die Abklärungsperson u.a. bekräftigte, aus Sicht der IV wäre eine Betriebsaufgabe zumutbar. Nachdem P._ gegen die Verfügung der SUVA vom 9. Januar 2007 Einsprache erhoben hatte, erhöhte diese den IV-Grad auf 31 %. P._ liess hiegegen wiederum Beschwerde erheben, welche das kantonale Gericht am 18. Mai 2009 guthiess und die Sache zur weiteren Abklärung an die SUVA zurückwies. Bereits am 25. April 2008 hatte die IV-Stelle ihren Einspracheentscheid vom 4. April 2008 wieder aufgehoben und weitere Abklärungen durchgeführt. In einem neuerlichen Abklärungsbericht Landwirtschaft vom 30. Juni 2009 bestätigte die Abklärungsperson, P._ sei in der Tätigkeit als Landwirt (nach wie vor) "sicher nicht ideal eingegliedert", er wolle aber auch nicht anderweitig eingegliedert werden, sondern den Landwirtschaftsbetrieb weiter erhalten, obwohl er in einer angepassten Tätigkeit ein wesentlich höheres Einkommen erzielen könnte und somit die Schadenminderungspflicht verletze. Am 23. Februar 2010 sprach die IV-Stelle P._ vom 1. März bis 31. Juli 2008 eine befristete ganze Rente sowie Kinderrenten zu. Am 4. Mai 2010 erging das von der SUVA veranlasste zweite Gutachten des ZMB.
B. Die gegen die Verfügung vom 23. Februar 2010 erhobene Beschwerde des P._, mit welcher er die Zusprechung einer ganzen, mindestens einer halben Invalidenrente ab 1. August 2002 sowie mindestens einer Dreiviertelsrente ab 1. Januar 2004 beantragen liess, wies das Verwaltungsgericht des Kantons Luzern mit Entscheid vom 29. September 2011 ab.
C. P._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und unter Aufhebung des angefochtenen Entscheides die Zusprechung einer ganzen, eventuell einer halben oder einer Dreiviertelsrente ab 1. August 2001 beantragen.

Erwägungen:
1. 1.1 Die Beschwerde kann wegen Rechtsverletzung nach Art. 95 f. BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>) und kann die Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>) sowie wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (<ref-law>).
1.2 Die auf Grund medizinischer Untersuchungen gerichtlich festgestellte Arbeitsfähigkeit betrifft eine Tatfrage, ebenso die Frage nach der Zumutbarkeit eines Berufswechsels, solange diese nicht ausschliesslich gestützt auf die allgemeine Lebenserfahrung beurteilt wurde (<ref-ruling> E. 3.2 S. 397 ff.). Das gleiche gilt in Bezug auf die konkrete Beweiswürdigung (nicht publ. E. 4.1 des Urteils <ref-ruling>, in SVR 2009 IV Nr. 53 S. 164 [9C_204/2009]; Urteil 9C_773/2010 vom 20. Oktober 2010 E. 1.2). Rechtsverletzungen sind die unvollständige Feststellung rechtserheblicher Tatsachen sowie die Missachtung des Untersuchungsgrundsatzes (Art. 43 Abs. 1, Art. 61 lit. c ATSG) und der Anforderungen an den Beweiswert von Arztberichten (<ref-ruling> E. 5.1 S. 232).
2. Im angefochtenen Entscheid werden die für die Beurteilung des Rentenanspruchs massgeblichen Rechtsgrundlagen zutreffend dargelegt. Richtig ist insbesondere, dass die versicherte Person, bevor sie Leistungen verlangt, aufgrund der Schadenminderungspflicht alles ihr Zumutbare selber vorzukehren hat, um die Folgen der Invalidität bestmöglich zu mindern. Ein Rentenanspruch ist zu verneinen, wenn sie selbst ohne Eingliederungsmassnahmen, nötigenfalls mit einem Berufswechsel, zumutbarerweise in der Lage ist, ein rentenausschliessendes Erwerbseinkommen zu erzielen. Für die Auslegung des unbestimmten Rechtsbegriffs der zumutbaren Tätigkeit im Allgemeinen, wie bei der Aufgabe der selbstständigen Erwerbstätigkeit im Besonderen, sind die gesamten subjektiven und objektiven Gegebenheiten des Einzelfalles zu berücksichtigen. Im Vordergrund stehen bei den subjektiven Umständen die verbliebene Leistungsfähigkeit sowie die weiteren persönlichen Verhältnisse, wie Alter, berufliche Stellung, Verwurzelung am Wohnort etc. Bei den objektiven Umständen sind insbesondere der ausgeglichene Arbeitsmarkt und die noch zu erwartende Aktivitätsdauer massgeblich (SVR 2010 IV Nr. 11 S. 35 E. 4.1 und 4.3 [9C_236/2009] und 2007 IV Nr. 1 S. 1 E. 5.3 [I 750/04]; Urteil 8C_482/2010 vom 27. September 2010 E. 4.2).
3. 3.1 Die Vorinstanz stellte fest, der Versicherte habe sich seit der rentenablehnenden Verfügung vom 6. April 1995 mehreren Operationen unterziehen müssen und führte aus, es sei somit davon auszugehen, dass sich die tatsächlichen Verhältnisse seit der erstmaligen Leistungsprüfung vom 6. April 1995 in anspruchsrelevanter Weise verändert hätten. In der Folge prüfte sie, ob die Veränderung eine anspruchsbegründende Invalidität bewirkte. Sie stellte fest, der Versicherte habe am 4. Juni 2001 (12 Monate vor der Neuanmeldung) als selbstständiger Landwirt gearbeitet und erwog, ohne gesundheitliche Beeinträchtigung hätte er mit überwiegender Wahrscheinlichkeit ebenfalls den elterlichen Hof übernommen und daneben eine unselbstständige Nebenerwerbstätigkeit ausgeübt (als Schweisser mit einem 40%-Pensum). Zu Gunsten des Beschwerdeführers sei der Berechnung das vom Arbeitgeber für 2003 auf Fr. 28'600.- bezifferte Einkommen zu Grunde zu legen. Bezogen auf das Jahr 2001 resultiere bei einem Pensum in der Landwirtschaft von 63 % (entsprechend den IK-Einträgen) und einem damit erzielbaren Einkommen von Fr. 20'538.- ein Valideneinkommen von Fr. 49'138.-. Hinsichtlich des Invalideneinkommens erwog die Vorinstanz, die Aufgabe des Landwirtschaftsbetriebes sei zumutbar. Der Beschwerdeführer sei bereits im Jahre 2003 auf die Zumutbarkeit eines Berufswechsels aufmerksam gemacht worden. Dass die IV-Stelle die Arbeitsvermittlung in der Folge einstellte, weil der Beschwerdeführer sich nicht habe vorstellen können, seinen Betrieb zu verkaufen, bedeute keine Anerkennung der Unzumutbarkeit der Betriebsaufgabe. Der Versicherte sei daher so zu behandeln, als wenn er eine leidensangepasste Tätigkeit aufgenommen hätte, welche ihm gemäss medizinischer Aktenlage, mit Ausnahme der Zeit zwischen 7. Dezember 2007 und 30. April 2008, zu 80 % zumutbar wäre; auf weitere Abklärungen könne verzichtet werden. Gestützt auf die Schweizerische Lohnstruktruerhebung (LSE) 2000 ergebe sich für das Jahr 2001 ein Invalideneinkommen von Fr. 45'489.57 bzw. unter Gewährung eines leidensbedingten Abzuges ein solches von Fr. 40'941.-.
3.2 Der Beschwerdeführer rügt, die Vorinstanz habe seine gegen die Zumutbarkeit der Betriebsaufgabe angeführten Argumente ausser Acht gelassen, namentlich die äusserst günstige Wohngelegenheit im Bauernhaus, der hohe Eigenversorgungsgrad der Familie und dass die hypothetischen Ersatzeinkünfte kaum eine Existenzsicherung ermöglichten, zumal er mit Blick auf die gesundheitliche Beeinträchtigung weder seine landwirtschaftliche Ausbildung noch seine Erfahrungen als Schweisser werde gewinnbringend umsetzen können. Im Sinne einer Eventualbegründung macht er geltend, die Vorinstanz habe zu Unrecht die Situation im erstmaligen Beurteilungszeitpunkt (Juni 2001) nicht geprüft. Damals sei er voller Hoffnung gewesen, die volle Arbeitsfähigkeit als Landwirt wieder zu erlangen, so dass eine Aufgabe des Landwirtschaftsbetriebs damals nicht zumutbar gewesen sei. Dies gelte auch für die Folgezeit, zumal er von der IV-Stelle in seiner Auffassung bestärkt worden sei, keine berufliche Umstellung vornehmen zu müssen. Erst im Einspracheentscheid 2010 sei von einer zumutbaren Aufgabe der Selbstständigkeit ausgegangen worden. Weil gemäss Dr. med. W._, Allgemeine Medizin FMH, seit 26. August 2000 eine mindestens 50%ige Arbeitsunfähigkeit bestanden und diese sich in der Folge noch erhöht habe, könne ab 1. August 2001 eine Rente zugesprochen werden. Bezüglich des Einkommensvergleichs wiederholt er das bereits vorinstanzlich geltend gemachte Vorbringen, das Valideneinkommen sei bei zumutbarer Betriebsaufgabe ausschliesslich gestützt auf das Nebenerwerbseinkommen festzusetzen. Beim Invalideneinkommen sei die Arbeitsfähigkeit zusätzlich auch durch die Beschwerden im linken Handgelenk vermindert und neben dem Abzug von 10 % wegen Teilzeitarbeit ein gleich hoher Abzug wegen der nurmehr zumutbaren äusserst leichten Tätigkeiten vorzunehmen. Schliesslich bestehe ein Rentenanspruch ab dem Jahre 2001.
4. Was die Frage der Zumutbarkeit einer Betriebsaufgabe betrifft, hat die Vorinstanz eine solche namentlich mit der Begründung bejaht, das -verständlicherweise grosse - Interesse an einer späteren Betriebsübergabe an den im Jahre 2000 geborenen Sohn vermöge die Möglichkeit eines Berufswechsels "nicht aufzuwiegen". Der Beschwerdeführer, dem noch eine lange Aktivitätsdauer bevorstehe, verfüge über eine landwirtschaftliche Ausbildung und Berufserfahrungen als Schweisser, was sich positiv auf seine Vermittelbarkeit in einer lukrativeren adaptierten Tätigkeit auswirke. Diese Begründung ist nicht bundesrechtswidrig. Die Vorinstanz hat zu Recht einen objektiven Massstab angewandt, welcher etwa der Berücksichtigung einer starken Verbundenheit mit dem bereits von den Eltern bewirtschafteten Hof oder dem nachvollziehbaren Wunsch, den Hof dereinst an einen Nachkommen weiterzugeben, grundsätzlich entgegen steht (vgl. Urteil I 116/03 vom 10. November 2003 E. 3.3). Nach den zutreffenden Erwägungen im angefochtenen Entscheid ist eine Betriebsaufgabe nur unter strengen Voraussetzungen unzumutbar und es kann ein Betrieb selbst dann nicht auf Kosten der Invalidenversicherung aufrecht erhalten werden, wenn die versicherte Person darin Arbeit von einer gewissen erwerblichen Bedeutung leistet (Urteil 8C_460/2011 vom 22. September 2011 E. 4.4). Wenn im angefochtenen Entscheid mit Blick auf die verbleibende lange Aktivitätsdauer und die im bisherigen Berufsleben erworbenen Kenntnisse, welche in einer adaptierten Tätigkeit die Vermittelbarkeit erleichtern (vgl. Urteil I 38/06 vom 7. Juni 2006 E. 3.2) und damit entgegen den Vorbringen in der Beschwerde nicht grundsätzlich ohne Nutzen sind, eine Betriebsaufgabe für zumutbar erachtet wird, hält dies vor Bundesrecht stand. Umso mehr, als die vorinstanzliche Würdigung der medizinischen Akten, welche das kantonale Gericht zum Schluss führte, mit Ausnahme der Zeit zwischen 7. Dezember 2007 und 30. April 2008 habe in einer adaptierten Tätigkeit eine 80%ige Arbeitsfähigkeit bestanden, nicht als bundesrechtswidrig bezeichnet werden kann und somit letztinstanzlich verbindlich ist (E. 1.2 hievor). Dass sich die Vorinstanz nicht explizit mit den Argumenten der in den vergangenen Jahren getätigten betrieblichen Investitionen, den günstigen Wohnkosten der Familie und dem hohen Eigenversorgungsgrad auseinandersetzte, verletzt die Begründungspflicht nicht (<ref-ruling> E. 5.2 S. 236; <ref-ruling> E. 4.1 S. 88; <ref-ruling> E. 3.1 S. 277; je mit Hinweisen). Das Bundesgericht hatte sich im Übrigen bei anderer Gelegenheit mit ähnlichen Vorbringen zu befassen und weder erfolgte Investitionen in den Landwirtschaftsbetrieb (zumindest sofern, wie hier, nicht substantiiert dargelegt wird, inwiefern sich Aufgabe und Liquidation des Betriebes finanziell nachteilig auswirken; Urteil 8C_460/2011 vom 22. September 2011 E. 4.3), noch tiefe Wohnkosten (zumal eine Verpachtung der zu bewirtschaftenden Fläche auch ohne das Wohnhaus grundsätzlich möglich wäre; Urteil I 643/03 vom 17. August 2004 E. 3.3.2) als Argumente für die Unzumutbarkeit einer Betriebsaufgabe anerkannt.
5. Zu prüfen bleibt, ob die Beschwerdegegnerin namentlich mit ihrer Verfügung vom 11. August 2004 eine Vertrauensgrundlage geschaffen hatte, wonach der Versicherte vor dem Jahre 2010 nicht mit der Zumutbarkeit einer Betriebsaufgabe rechnen musste. Dies ist zu verneinen. Zwar ermittelte die Beschwerdegegnerin in der Verfügung vom 11. August 2004 das Invalideneinkommen gestützt auf ein mögliches Einkommen aus Rinderaufzucht/Schweinezucht und einem möglichen Nebenerwerb in einem Pensum von 36 % (unter Gewährung eines behinderungsbedingten Abzuges von 15 %). Indes kam bereits im Jahre 2002 der landwirtschaftliche Gutachter zum Schluss, es sei "auch zu überlegen, ob ein solch relativ junger Bauer nicht eine andere Tätigkeit ausüben könnte". Die IV sollte ein entsprechendes Gespräch führen, vorstellbar sei beispielsweise eine Tätigkeit als "Securitas"; eine solche Variante dränge sich auf, da der bereits stark reduzierte Betrieb die Familie immer noch überfordere. Die in der Folge gewährte Beratung und Unterstützung bei der Stellensuche liess - ebenfalls - keinen Zweifel daran, dass die Beschwerdegegnerin einen Berufswechsel als zumutbar erachtete. Eindeutig ist, wie einleitend festgehalten, den landwirtschaftlichen Abklärungsberichten vom 20. Juli 2004, 23. Mai 2007 und 30. Juni 2009 zu entnehmen, dass der Versicherte als Landwirt für ungenügend eingegliedert befunden wurde, er in Nachachtung seiner Schadenminderungspflicht seinen Betrieb aufzugeben hätte und das Invalideneinkommen gestützt auf eine hypothetische adaptierte Tätigkeit zu bestimmen sei. Im Einspracheentscheid vom 4. April 2008 hielt die Beschwerdegegnerin denn auch fest, aus medizinischer Sicht sei eine Tätigkeit in der Landwirtschaft nicht behinderungsangepasst, im Rahmen der Schadenminderungspflicht sei die Betriebsaufgabe - grundsätzlich - zumutbar. Es kann somit keine Rede davon sein, die Beschwerdegegnerin hätte dem Versicherten Anlass gegeben zur begründeten Annahme, die Rentenprüfung würde gestützt auf sein als Landwirt erzieltes Einkommen erfolgen. Schliesslich steht auch die Gewährung von Hilfsmitteln einer Rentenabweisung nicht entgegen (vgl. Urteil I 38/06 vom 7. Juni 2006 E. 3.4). Wenn die Vorinstanz die Invaliditätsbemessung der IV-Stelle schützte, welche ab dem frühest möglichen Rentenbeginn im Jahre 2001 das Invalideneinkommen ausgehend von einer adaptierten Tätigkeit festsetzte, ist dies nicht zu beanstanden.
6. Was die Einwände gegen den vorinstanzlichen Einkommensvergleich betrifft, hat die Vorinstanz zu Recht das Valideneinkommen gestützt auf das Einkommen aus einem Betrieb mit Milchviehhaltung und einem Nebenerwerb mit einem Pensum von 40 % festgesetzt, weil dies der erwerblichen Situation entspricht, wie sie ohne Gesundheitsschaden am wahrscheinlichsten ist (<ref-ruling> E. 4.1 S. 325). Nicht zu beanstanden ist schliesslich der vorinstanzlich gewährte behinderungsbedingte Abzug vom Invalideneinkommen in Höhe von 10 %, zumal es sich bei diesem Abzug um eine typische Ermessensfrage handelt, deren Beantwortung letztinstanzlicher Korrektur nur dort zugänglich ist, wo das kantonale Gericht das Ermessen rechtsfehlerhaft ausgeübt hat (<ref-ruling> E. 3.3 S. 399), was hier nicht zutrifft. Damit hat es beim vorinstanzlichen Einkommensvergleich sein Bewenden.
7. Dem Prozessausgang entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen (<ref-law>)

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Luzern und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 2. April 2012
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Die Gerichtsschreiberin: Bollinger Hammerle