Sachverhalt:
A. a. S._, der eigenen Angaben zufolge sich im Ausland zum Juristen ausgebildet, in Philosophie promoviert und ein Diplom als "Gerichtssachverständiger "erlangt hatte, trat seit vielen Jahren als Selbständiger auf, namentlich seit 1. Februar 1994 in Form einer "Rechtskanzlei" (in einer untergemieteten Liegenschaft), sodann unter dem Firmenzug "X._". Früher in R._, wohnt er heute in D._, wo ihn die Sozialhilfebehörde unterstützt. Gegenüber der Alters- und Hinterlassenenversicherung (AHV) hat er seine Beitragspflicht seit 1992 als Nichterwerbstätiger erfüllt.
b. Der Versicherte litt in den letzten Jahren zunehmend an multiplen Krankheiten und Beschwerden: Sehbehinderung nach Katarakt, fortgeschrittener Scheuermann, vermutete Polyneuropathie und ischämische Apoplexie bei Gangunsicherheit, Schwankschwindel und nachgewiesenen hirnorganischen Veränderungen, rezidivierende mittelgradige Depressionen, reaktiv auf episodischen Alkoholmissbrauch u.a.m. Er erhielt wegen diesen gesundheitlichen Beeinträchtigungen von der Invalidenversicherung medizinische Eingliederungsmassnahmen (Kataraktoperationen) und Hilfsmittel (Duschhocker, Rollator).
c. Sein Rentengesuch vom 8./10. September 2008 lehnte die IV-Stelle des Kantons Zürich, nach medizinischen und erwerblichen Abklärungen (Individuelles Konto; Bericht für Selbständigerwerbende vom 9. Juni 2010) und Durchführung des Vorbescheidverfahrens, trotz eines "IV-relevanten Gesundheitsschaden(s)" mangels Erwerbseinbusse ab: es sei zwar anzuerkennen, dass der Versicherte "in einem Vollpensum tätig war"; jedoch werde er "seit dem Jahre 1992 als Nichterwerbstätiger geführt"; Buchhaltungsunterlagen über eine selbständige Erwerbstätigkeit seien nicht vorhanden. In Anbetracht dieser seit vielen Jahren andauernden Verhältnisse sei anzunehmen, dass er sich "auch im Gesundheitsfalle weiterhin mit einem bescheidenen bzw. keinem Einkommen begnügt" hätte (Verfügung vom 1. September 2010).
B. Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich im Wesentlichen aus den gleichen Gründen ab (Entscheid vom 14. November 2011).
C. Der Versicherte lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, es sei der kantonale Gerichtsentscheid aufzuheben und ihm eine Invalidenrente zuzusprechen.
Die IV-Stelle des Kantons Zürich schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1. Die Vorinstanz hat im angefochtenen Entscheid - ohne dies in Frage zu stellen - die Auffassung der Beschwerdegegnerin wiedergegeben, wonach "ein IV-relevanter Gesundheitsschaden, welcher die bisherige Tätigkeit des Beschwerdeführers als selbständiger Jurist sowie auch eine der Behinderung angepasste Tätigkeit nicht mehr zumutbar mache, ausgewiesen sei". Darin ist eine für das Bundesgericht verbindliche Feststellung des kantonalen Gerichts über die Arbeitsunfähigkeit als Entscheidung über eine Tatfrage (<ref-law>; <ref-ruling> E. 3.2 S. 397 unten f.) zu erblicken, zumal keine Anhaltspunkte für offensichtliche Unrichtigkeit (<ref-law>) bestehen, im Gegenteil, lässt sich doch dem Feststellungsblatt für den Beschluss der Beschwerdegegnerin vom 22. Juli 2010, S. 5, entnehmen: "Anhand der Aktenlage ist bei dem 58-jährigen multimorbiden Versicherten eine 100%-ige Arbeitsunfähigkeit in der bisherigen Tätigkeit als Anwalt und in angepasster Tätigkeit ausgewiesen."
2. Aus dem in E. 1 Gesagten ergibt sich - falls der Beschwerdeführer für die Belange der Invaliditätsbemessung als Erwerbstätiger zu qualifizieren ist (dazu E. 3) - ohne weiteres ein Invaliditätsgrad von 100%, woraus der Anspruch auf eine ganze Invalidenrente resultiert (<ref-law>). Denn bei einem zufolge vollständiger Arbeitsunfähigkeit auch in Verweisungstätigkeiten (<ref-law>) nicht erzielbaren Einkommen (= Invalideneinkommen von Fr. 0.--) führt der Einkommensvergleich (<ref-law> i.V.m. <ref-law>) zu einem Erwerbsausfall von 100%, dies ungeachtet der Höhe, auf welche sich das Valideneinkommen beläuft.
3. Der Ausgang des Verfahrens hängt damit - entgegen dem, wovon die Verfahrensbeteiligten ausgehen - nicht davon ab, wie hoch das Valideneinkommen zu veranschlagen ist, sondern einzig und allein davon, ob der Beschwerdeführer überhaupt als Erwerbstätiger zu qualifizieren ist. Wenn diese Frage bejaht wird, ist damit gleichzeitig gesagt, dass er im Gesundheitsfall ein Valideneinkommen erzielen würde, dessen Höhe jedoch in Anbetracht der ausgewiesenen vollen Erwerbsunfähigkeit (<ref-law>) offen bleiben kann.
3.1 Das kantonale Gericht verweist zunächst auf die Parallelisierung der IV-rechtlich massgebenden hypothetischen Vergleichseinkommen mit den AHV-rechtlich beitragspflichtigen Einkommen gemäss <ref-law> und der dazu ergangenen Rechtsprechung (Urteil 8C_576/2008 vom 10. Februar 2009 E. 6.2 mit Hinweisen, SVR 2009 IV Nr. 28 S. 79). Die beitragsrechtliche Behandlung als Nichterwerbstätiger seit 1992 lasse "vermuten, dass kein Erwerbseinkommen erzielt" worden sei. "Für die Annahme des Gegenteils" seien aussagekräftige Beweismittel notwendig. Auf glaubhaft gemachte Ausgaben (Berechnung des Existenzminimums, eingereichte Mietverträge) könne nicht abgestellt werden, zumal der Beschwerdeführer eigenen Angaben zufolge (Schreiben vom 25. Februar 2005 an das Steueramt) massiv durch seine Familie unterstützt worden sei. Die offerierten Zeugenaussagen könnten die Erzielung eines Erwerbseinkommens auch nicht belegen, sowenig wie die steuerbaren Einkünfte, welche u.a. auch Wertschriftenertrag sowie Einnahmen aus privaten Rentenversicherungen enthalten würden, zumal die Einschätzung für das Jahr 2006 (und meistens auch für die vorangegangenen Jahre) nach pflichtgemässem Ermessen erfolgt und somit ohnehin nicht aussagekräftig sei; für das Jahr 2007 lägen keine Steuerzahlen bei den Akten. Wie der Beschwerdeführer selber angegeben habe, seien die "Steuerakten wegen der konsequent betriebenen Steueroptimierung wenig aussagekräftig", was auch für die "Minimierung der Sozialversicherungsabgaben" gelte. Es gehe nicht an, gegenüber der Sozialversicherung Beiträge einzusparen, um sie dann im Versicherungsfall wieder geltend zu machen (Hinweis auf das Urteil 8C_31/2011 vom 6. April 2011 E. 4.3.1). Darüber hinaus lege der Beschwerdeführer weder Geschäftsabschlüsse noch Buchhaltungsunterlagen noch Kontenauszüge vor, wobei er aber trotz der geltend gemachten Entsorgung dieser Unterlagen bei der Räumung seiner zuletzt benutzten Kanzlei bemerkenswerterweise in der Lage gewesen sei, sämtliche Lohnausweise und Spesenbestätigungen seiner ehemaligen Mitarbeiterin in der Kanzlei lückenlos von 1995 bis 2005 wie auch den Mietvertrag seiner zuletzt benutzten Kanzleiräumlichkeiten einzureichen. Das kantonale Gericht lehnte weitere Abklärungen ab und schloss auf Beweislosigkeit, welche sich hier zulasten des Beschwerdeführers auswirke.
3.2 Diese Auffassung des kantonalen Gerichts verletzt, wie die Beschwerde insoweit richtig vorträgt, in mehrfacher Hinsicht bezüglich der Begründung und jedenfalls im Ergebnis Bundesrecht (<ref-law>). Zunächst ist die Berufung auf die beiden erwähnten Urteile nicht einschlägig: Wenn das Bundesgericht in ständiger Rechtsprechung gemäss Urteil 8C_576/2008 vom 10. Februar 2009 E. 6.2 davon ausgeht, das Valideneinkommen von Selbständigerwerbenden könne grundsätzlich nach den IK-Einträgen bestimmt werden, so ist das eine Regel für die IV-rechtliche Bemessung der beitragspflichtigen Einkünfte aus selbstständiger Erwerbstätigkeit, namentlich bei schwankenden Einkommenserzielungen. Auch nichts mit der hier zu entscheidenden Frage hat das Urteil 8C_31/2011 vom 6. April 2011 E. 4.3.1 zu tun, worin allein dem Bestreben eine Absage erteilt wurde, als Spesen (und damit als beitragsfreie Bezüge) deklarierte Entgelte später, im Zuge der Invaliditätsbemessung (bei der Festlegung des Valideneinkommens), in Lohnbestandteile umzudeuten. Auch nicht angängig ist es, der AHV-rechtlichen Qualifizierung als Nichterwerbstätiger für die Belange der Invaliditätsschätzung die Bedeutung einer - nur dem Beweis des Gegenteils weichenden - Rechts- oder Gesetzesvermutung zuzumessen. Die AHV-beitragsrechtliche Behandlung ist ein blosses Indiz, das - zusammen mit allen anderen steuerlichen, geschäftlichen, beruflichen usw. Aspekten des konkreten Einzelfalles - in eine gesamthafte Würdigung einzubeziehen ist. In dieser - rechtlich gebotenen - Sichtweise ist es unhaltbar, dem Beschwerdeführer den IV-rechtlichen Status einer erwerbstätigen Person abzusprechen, weil die aus den Akten hervorgehenden tatsächlichen wirtschaftlichen Gegebenheiten (Betrieb einer Rechtskanzlei, Auftritt am Markt, Miete von Geschäftsräumlichkeiten, Beschäftigung einer Schreibkraft usw.) ihn klar als solchen ausweisen. Wenn die Vorinstanz den Beschwerdeführer auf seiner Geschäftspolitik betriebener Steuer- und Beitragsoptimierung durch Absprechung des Erwerbstätigenstatus' im Invaliditätsfall behaften will, verliert sie aus den Augen, dass - womit kein Werturteil über die Tätigkeit des Beschwerdeführers ausgesprochen wird - gegebenenfalls auch eine widerrechtliche oder unsittliche Erwerbstätigkeit die Versicherungs- und Beitragspflicht begründet (<ref-ruling>, 107 V 193). Ebenso wenig ist im Verhalten des Beschwerdeführers ein offensichtlicher Rechtsmissbrauch zu erblicken (<ref-ruling> S. 88; THOMAS GÄCHTER, Rechtsmissbrauch im öffentlichen Recht, Zürich 2005, S. 515 f.). Vielmehr knüpft das Gesetz an ein Geschäftsgebaren, wie es der Beschwerdeführer an den Tag legte, eine Rechtsfolge hinsichtlich der Leistungshöhe: Bei einem bisher während mehr als 30 Beitragsjahren total verabgabten Einkommen von lediglich 255'462 Franken (Auszug aus dem individuellen Konto vom 1. Oktober 2010) wird der Beschwerdeführer nach den AHV-rechtlichen Berechnungsvorschriften (<ref-law>) nur eine sehr tiefe Invalidenrente erhalten. Darin liegt das gesetzliche Korrektiv beitragsmindernden Verhaltens, nicht in der Aberkennung des Versichertseins als erwerbstätige Person.
4. Was den Rentenbeginn anbelangt, ist einerseits von den Feststellungen der Beschwerdegegnerin auszugehen (Einschränkung der Arbeitsunfähigkeit und Beginn der Wartezeit nach <ref-law> am 24. Juli 2008; Abklärungsbericht für Selbständigerwerbende vom 9. Juni 2010, S. 7); andererseits ist die Anmeldung zum Rentenbezug vom 8./10. September 2008 rechtzeitig (<ref-law>) erfolgt, was zum Rentenbeginn am 1. Juli 2009 führt.
5. Die Gerichtskosten sind bei diesem Verfahrensausgang der Beschwerdegegnerin zu überbinden (<ref-law>). Sie schuldet dem obsiegenden Beschwerdeführer für das letztinstanzliche Verfahren eine Parteientschädigung (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen. Der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 14. November 2011 und die Verfügung der IV-Stelle des Kantons Zürich vom 1. September 2010 werden aufgehoben. Es wird festgestellt, dass der Beschwerdeführer ab 1. Juli 2009 Anspruch auf eine ganze Invalidenrente hat.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
3. Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4. Die Sache wird zur Neuverlegung der Kosten und der Parteientschädigung des vorangegangenen Verfahrens an das Sozialversicherungsgericht des Kantons Zürich zurückgewiesen.
5. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 13. Dezember 2012
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Der Gerichtsschreiber: Nussbaumer