Sachverhalt:
A.
A._ war in den Steuerperioden 2003-2005 im Kanton Zürich als Rechtsanwalt tätig. Wegen Unregelmässigkeiten in den von ihm eingereichten Steuererklärungen 2003 und 2005 sowie wegen Nichteinreichens der Steuererklärung 2004 nahm das kantonale Steueramt eine Buchprüfung für die Geschäftsjahre 2003-2005 vor und schätzte A._ am 24. Februar 2012 (Staats- und Gemeindesteuern) bzw. 23. Februar 2012 (direkte Bundessteuer) abweichend von der Steuererklärung und teilweise nach Ermessen ein. In teilweiser Gutheissung der erhobenen Rechtsmittel wies das Steuerrekursgericht die Sache mit Entscheid vom 22. November 2012 im Sinne der Erwägungen zu weiteren Untersuchungen an das Steueramt zurück. Auf die dagegen von A._ erhobenen Beschwerden traten das Verwaltungsgericht des Kantons Zürich (Urteil vom 27. März 2013) und das Bundesgericht (Urteil 2C_443/2013, 2C_444/2013 vom 14. Mai 2013) nicht ein.
B.
Nach ergänzender Untersuchung schätzte das kantonale Steueramt den Pflichtigen mit Einspracheentscheid vom 12. Dezember 2013 teilweise nach pflichtgemässem Ermessen für die Staats- und Gemeindesteuern wie folgt ein:
Steuerperiode Steuerbares Einkommen Satzbestimmendes Einkommen Steuerbares Vermögen Satzbestimmendes Vermögen 2003 Fr. 128'200.-- Fr. 132'800.-- Fr. 287'000.-- Fr. 554'000.-- 2004 Fr. 128'000.-- Fr. 135'000.-- Fr. 230'000.-- Fr. 504'000.-- 2005 Fr. 499'100.-- Fr. 508'900.-- Fr. 150'000.-- Fr. 456'000.--
C. Für die direkte Bundessteuer veranlagte es den Pflichtigen gleichentags mit einem steuerbaren Einkommen von Fr. 133'600.-- (Steuerperiode 2003), von Fr. 135'000.-- (Steuerperiode 2004) sowie Fr. 509'700.-- (Steuerperiode 2005).
D.
Die dagegen erhobenen kantonalen Rechtsmittel wurden abgewiesen (Entscheid des Steuerrekursgerichts vom 31. März 2014; Urteil des Verwaltungsgerichts vom 20. August 2014).
E.
A._ erhebt mit Eingabe vom 22. Oktober 2014 Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, das Urteil des Verwaltungsgerichts sei aufzuheben. Zudem beantragt er aufschiebende Wirkung. Mit Verfügung des Präsidenten der II. öffentlich-rechtlichen Abteilung des Bundesgerichts vom 27. Oktober 2014 wurde das Gesuch um aufschiebende Wirkung abgewiesen. Das Verwaltungsgericht, das kantonale Steueramt und (in Bezug auf die direkte Bundessteuer) die Eidgenössische Steuerverwaltung beantragen Abweisung der Beschwerde.

Erwägungen:
1.
Die Vorinstanz hat ein einziges Urteil für die Kantons- und Gemeindesteuern sowie für die direkte Bundessteuer erlassen, was zulässig ist, soweit die zu entscheidende Rechtsfrage im Bundesrecht und im harmonisierten kantonalen Recht gleich geregelt ist (<ref-ruling> E. 1.3.1 S. 262 f.). Unter diesen Umständen ist dem Beschwerdeführer nicht vorzuwerfen, nicht zwei getrennte Beschwerden eingereicht und keine getrennten Anträge gestellt zu haben; aus seiner Eingabe geht hervor, dass sie beide Steuerarten betrifft (<ref-ruling> E. 1.3.3 S. 264; Urteil 2C_1086/2012, 2C_1087/2012 vom 16. Mai 2013 E. 1.1). Das Bundesgericht hat usanzgemäss für die Staats- und Gemeindesteuern (2C_971/2014) und die direkte Bundessteuer (2C_972/2014) getrennte Dossiers angelegt. Da beide Verfahren auf demselben Sachverhalt beruhen und sich dieselben Rechtsfragen stellen, sind die Verfahren zu vereinigen und die Beschwerde ist in einem einzigen Urteil zu erledigen (vgl. <ref-law> in Verbindung mit <ref-law> [SR 273]).
2.
2.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist gemäss <ref-law> in Verbindung mit <ref-law> (SR 642.11) sowie Art. 73 des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden (StHG; SR 642.14) zulässig. Der Beschwerdeführer ist gestützt auf <ref-law> zur Beschwerde in öffentlich-rechtlichen Angelegenheiten legitimiert. Auf die frist- und formgerecht eingereichte Beschwerde ist grundsätzlich einzutreten (Art. 42 und Art. 100 BGG).
2.2. Der Beschwerdeführer beantragt bloss die Aufhebung des angefochtenen Urteils. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist ein grundsätzlich reformatorisches Rechtsmittel (<ref-law>), auch in Bezug auf die kantonalen Steuern (<ref-ruling> E. 1.5.3). Dementsprechend sind rein kassatorische Anträge grundsätzlich unzulässig. Die Rechtsprechung lässt es allerdings genügen, dass ein kassatorisches Begehren gestellt wird, wenn sich aus der Begründung ergibt, was mit der Beschwerde angestrebt wird (<ref-ruling>. E. 1.3; Urteil 1C_809/2013 vom 13. Juni 2014 E. 1, nicht publ. in: <ref-ruling>; Urteil 1C_466/2013 vom 24. April 2014 E. 2.3, nicht publ. in: <ref-ruling>), oder wenn das Bundesgericht ohnehin nicht reformatorisch entscheiden könnte, weil die erforderlichen Sachverhaltsfeststellungen der Vorinstanz fehlen (<ref-ruling> E. 3.1), oder im Falle einer vor Bundesgericht nicht heilbaren Verletzung des rechtlichen Gehörs. Soweit sich der Beschwerdebegründung in diesem Sinne ein Antrag auf Aufhebung und Rückweisung entnehmen lässt, ist auf die Beschwerde einzutreten. Das betrifft die Rüge der fehlenden Voraussetzung für eine Ermessenseinschätzung und die damit im Zusammenhang stehenden Verletzungen des rechtlichen Gehörs und der Rechtsweggarantie (hinten E. 3). Hingegen wäre in Bezug auf die materiellrechtliche Frage der Abzugsfähigkeit von Unterhalts-Kapitalleistungen (Beschwerde Lit. F) ein reformatorischer Antrag unabdingbar. Die von einem Anwalt eingereichte Beschwerde enthält diesbezüglich keinen Antrag und aus der Begründung geht auch nicht hervor, wie ein solcher Abzug vorzunehmen wäre. Auf die Beschwerde ist in diesem Punkt daher nicht einzutreten.
3.
Der Beschwerdeführer bestreitet die Zulässigkeit der Ermessensveranlagung.
3.1. Die Vorinstanz hat die Voraussetzungen der Ermessensveranlagungen und die Möglichkeiten, diese anzufechten, richtig dargelegt. Darauf kann verwiesen werden.
3.2. Die Vorinstanz hat sodann erwogen, nachdem der Beschwerdeführer schon im ersten Rechtsgang trotz Mahnung seinen Verfahrenspflichten nicht nachgekommen sei, habe er auch im zweiten Rechtsgang die von ihm mit Schreiben vom 28. Juni 2013 geforderten Auflagen trotz Mahnung nicht erfüllt, worin das Steueramt - entsprechend dem Entscheid des Steuerrekursgerichts im ersten Rechtsgang - von ihm verlangt habe, auch die Erträge, welche seine Einzelfirma von seiner GmbH erhalte, mitzuberücksichtigen (E. 2.3 S. 9 und E. 3.2 S. 11 des angefochtenen Entscheids). Damit seien die Voraussetzungen für eine Ermessensveranlagung erfüllt gewesen. Es könne offen bleiben, ob die Erträge und Aufwände der B._ GmbH im Rahmen der Einkünfte aus selbständiger Erwerbstätgkeit hätten deklariert werden müssen, weil die Ermessenseinschätzung ohnehin rechtens gewesen sei (E. 3.2 des angefochtenen Entscheids). Sodann habe der Beschwerdeführer nicht spätestens vor dem Steuerrekursgericht nachgewiesen, dass die Ermessenseinschätzung offensichtlich unrichtig sei, weshalb die Ermessenseinschätzungen bestehen blieben; sie seien auch nicht willkürlich erfolgt.
3.3. Mit Recht rügt der Beschwerdeführer in diesem Vorgehen eine Verletzung des rechtlichen Gehörs (<ref-law>) und der Rechtsweggarantie (<ref-law>) :
3.3.1. Das Steueramt war zunächst davon ausgegangen, dass der Beschwerdeführer per Ende 2003 seine selbständige Erwerbstätigkeit faktisch aufgegeben habe. Ab 2004 habe er die Anwaltstätigkeit im Rahmen der neu gegründeten B._ GmbH ausgeübt. Das Steueramt schätzte ihn deshalb für das Jahr 2003 als selbständig Erwerbenden ein; in den Jahren 2004 und 2005 ging es von verdeckten Gewinnausschüttungen und nicht deklarierten Salären aus Gesellschaften des Beschwerdeführers aus. Im ersten Rechtsgang vor dem Steuerrekursgericht brachte der Beschwerdeführer vor, er habe seine selbständige Erwerbstätigkeit Ende 2003 nicht aufgegeben. Das Steuerrekursgericht kam in seinem ersten Entscheid vom 22. November 2012 zum Ergebnis, in den Jahren 2004 und 2005 sei eine Anwaltskanzlei in der Rechtsform einer GmbH noch nicht zugelassen gewesen; die vom Beschwerdeführer gegründeten GmbH seien nur Betriebsgesellschaften gewesen. Damit stehe fest, dass der Beschwerdeführer seine selbständige Anwaltstätigkeit nicht per Ende 2003 aufgegeben habe. Die vom Beschwerdeführer und dessen angestellten Anwälten erwirtschafteten Honorare hätten deshalb nicht in die Rechnung der GmbH, sondern in diejenige der Einzelfirma des Beschwerdeführers fliessen müssen. Daraus sei aber nicht der Schluss zu ziehen, dass der Beschwerdeführer per Ende 2003 seine selbständige Tätigkeit aufgegeben habe; vielmehr seien die Honorareinnahmen zu Unrecht in die GmbH verschoben worden. Die Jahresabschlüsse der Einzelfirma seien daher nicht ordnungsgemäss, sondern das Jahresergebnis der Einzelfirma hätte unter Einbezug der zu Unrecht über die Betriebsgesellschaft verbuchten Honorarerträge ermittelt werden müssen. Zu einer diesbezüglichen Ermessensschätzung könne aber erst geschritten werden, nachdem der Pflichtige gemahnt worden sei, ordnungsgemässe Abschlüsse vorzulegen. Die Sache sei ins Einspracheverfahren zurückzuweisen zur Ermittlung der Einkünfte aus selbständiger Erwerbstätigkeit unter Einbezug der unrechtmässigen Ertragsverschiebungen in die B._ GmbH.
3.3.2. Dagegen erhob der Beschwerdeführer Beschwerde an das Verwaltungsgericht, wobei er namentlich vorbrachte, die Anordnung des "Durchgriffs" (Zurechnung der Einkünfte der GmbH an die Einzelfirma) sei rechtswidrig. Darauf trat das Verwaltungsgericht (und in der Folge auch das Bundesgericht) nicht ein mit dem Argument, es handle sich um einen Zwischenentscheid, der nicht selbständig anfechtbar sei; die gegen den Entscheid vorgebrachten Rügen könnten mit Beschwerde gegen den Endentscheid geltend gemacht werden.
3.3.3. Bezugnehmend auf den Entscheid des Steuerrekursgerichts vom 22. November 2012 forderte das Steueramt den Beschwerdeführer am 28. Juni 2013 (und danach mit Mahnung vom 4. Oktober 2013) auf, für die Jahre 2003 und 2005 das vollständig ausgefüllte Hilfsblatt A einzureichen, wobei die über die B._ GmbH verbuchten Erträge aus Rechtsberatungen und die damit verbundenen Aufwendungen in der Einzelfirma B._ einzuschliessen seien. Ferner sei eine vollständig ausgefüllte Steuererklärung für das Jahr 2004 einzureichen. Am 30. September 2013 reichte der Beschwerdeführer eine Steuererklärung für das Jahr 2004 ein; mit der Begründung, die Vorgabe des Steuerrekursgerichts sei unrechtmässig, gab er weder darin noch für die Jahre 2003 und 2005 die Erträge und Aufwendungen der B._ GmbH an. Im Einspracheentscheid vom 12. Dezember 2013 erwog das Steueramt, die Auflage/Mahnung sei nicht rechtswidrig gewesen, sondern habe sich aus dem Entscheid des Steuerrekursgerichts ergeben. Da der Beschwerdeführer die verlangten Angaben nicht geliefert habe, sei er nach pflichtgemässem Ermessen zu veranlagen.
3.3.4. Im Rekurs vom 14. Januar 2014 wiederholte der Beschwerdeführer seine Argumentation, es sei unzulässig, die Umsätze der GmbH der Einzelfirma zuzurechnen. Das Steuerrekursgericht erwog in seinem zweiten Entscheid vom 31. März 2014, es sei an seine eigenen Erwägungen im Rückweisungsentscheid vom 22. November 2012 gebunden, weshalb der Argumentation des Beschwerdeführer kein Erfolg beschieden sein könne; die über die Anwalts GmbH verbuchten Anwaltsumsätze seien daher der Einzelfirma zuzurechnen. Da der Beschwerdeführer die Auflage vom 28. Juni 2013 bzw. Mahnung vom 4. Oktober 2013 nicht erfüllt habe, seien die Voraussetzungen für eine Ermessensveranlagung gegeben.
3.3.5. In der zweiten Beschwerde an das Verwaltungsgericht vom 9. Mai 2014 rügte der Beschwerdeführer wiederum, die Vorgabe des Steuerrekursgerichts in seinem Entscheid vom 22. November 2012 sei unrechtmässig. Unter den dargelegten Umständen konnte die Vorinstanz nicht offen lassen, ob diese Vorgabe rechtswidrig war; denn wenn das zutreffen sollte, dann war auch die Auflage vom 28. Juni 2013, mit welcher der Beschwerdeführer in Befolgung des Entscheids des Steuerrekursgerichts aufgefordert wurde, die Erträge und Aufwendungen der GmbH in die Jahresabschlüsse der Einzelfirma einzuschliessen, unrechtmässig. Die Nichterfüllung einer unrechtmässigen Auflage kann nicht als Verletzung von Verfahrenspflichten betrachtet werden, die eine Einschätzung nach pflichtgemässem Ermessen zur Folge hat. Zwar hat sich das Steueramt richtigerweise an die Vorgaben im Rückweisungsentscheid des Steuerrekursgerichts gehalten, und ebenso das Steuerrekursgericht selber im zweiten Umgang (<ref-ruling> E. 5.2.3 S. 484; Urteil 2C_465/2011, 2C_466/2011 vom 10. Februar 2012 E. 1.4). Das Verwaltungsgericht musste sich jedoch - wie in seinem ersten Urteil richtig festgehalten (vorne E. 3.3.2) - mit dieser Rüge befassen, könnte doch sonst die Rechtmässigkeit dieser Vorgabe und der darauf gestützten Auflage vom 28. Juni 2013 nie beurteilt werden. Zwar ist nicht ausgeschlossen, dass auch abgesehen vom Aspekt des "Durchgriffs" das Verhalten des Beschwerdeführers als Verletzung von Verfahrenspflichten qualifiziert werden könnte; die Ausführungen der Vorinstanz in E. 3.2 des angefochtenen Entscheids scheinen darauf hinzudeuten. Dann kann aber nicht gleichzeitig der Vorwurf der Verletzung der Mitwirkungspflicht damit begründet werden, dass der Beschwerdeführer im zweiten Umgang die Auflagen vom 28. Juni 2013 nicht erfüllt habe, deren Rechtmässigkeit bestritten ist. Um die Ermessenseinschätzung zu begründen, müsste entweder diese Auflage als rechtmässig qualifiziert werden oder aber eine Verletzung von Mitwirkungspflichten begründet werden können, ohne dass auf die Missachtung dieser Auflage abgestellt wird.
3.4. Die Beschwerde ist daher gutzuheissen, soweit darauf einzutreten ist, und die Sache zur Neubeurteilung im Sinne der Erwägungen an die Vorinstanz zurückzuweisen. Damit erübrigt es sich, auf die übrigen Rügen des Beschwerdeführers einzugehen.
4.
Bei diesem Ausgang des Verfahrens obsiegt der Beschwerdeführer teilweise, während teilweise auf die Beschwerde nicht eingetreten werden kann (vorne E. 2.2). Die Gerichtskosten sind je zur Hälfte dem Beschwerdeführer und dem Kanton Zürich, um dessen Vermögensinteresse es geht, aufzuerlegen (Art. 66 Abs. 1 und 4 BGG). Der im eigenen Namen auftretende Beschwerdeführer hat keinen Anspruch auf Parteientschädigung.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen, soweit darauf einzutreten ist. Das Urteil des Verwaltungsgerichts des Kantons Zürich vom 20. August 2014 wird aufgehoben und die Sache zur Neubeurteilung im Sinne der Erwägungen an das Verwaltungsgericht zurückgewiesen.
2.
Die Gerichtskosten von Fr. 5'500.- werden je zur Hälfte, ausmachend je Fr. 2'750.-, dem Beschwerdeführer und dem Kanton Zürich auferlegt.
3.
Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Zürich 2. Abteilung und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 18. Juni 2015
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Mösching