Sachverhalt:
A.
A._ war in den Steuerperioden 2003-2005 im Kanton Zürich als Rechtsanwalt tätig. Wegen Unregelmässigkeiten in den von ihm eingereichten Steuererklärungen 2003 und 2005 sowie wegen Nichteinreichens der Steuererklärung 2004 nahm das kantonale Steueramt eine Buchprüfung für die Geschäftsjahre 2003 - 2005 vor und schätzte A._ am 24. Februar 2012 (Staats- und Gemeindesteuern) bzw. 23. Februar 2012 (direkte Bundessteuer) abweichend von der Steuererklärung und teilweise nach Ermessen ein. In teilweiser Gutheissung der erhobenen Rechtsmittel wies das Steuerrekursgericht die Sache mit Entscheid vom 22. November 2012 im Sinne der Erwägungen zu weiteren Untersuchungen an das Steueramt zurück. Auf die dagegen von A._ erhobenen Beschwerden traten das Verwaltungsgericht des Kantons Zürich (Urteil vom 27. März 2013) und das Bundesgericht (Urteil 2C_443/2013, 2C_444/2013 vom 14. Mai 2013) nicht ein.
B.
Nach ergänzender Untersuchung schätzte das kantonale Steueramt den Pflichtigen mit Einspracheentscheid vom 12. Dezember 2013 teilweise nach pflichtgemässem Ermessen für die Staats- und Gemeindesteuern wie folgt ein:
Steuerperiode Steuerbares Einkommen Satzbestimmendes Einkommen Steuerbares Vermögen Satzbestimmendes Vermögen 2003 Fr. 128'200.-- Fr. 132'800.-- Fr. 287'000.-- Fr. 554'000.-- 2004 Fr. 128'000.-- Fr. 135'000.-- Fr. 230'000.-- Fr. 504'000.-- 2005 Fr. 499'100.-- Fr. 508'900.-- Fr. 150'000.-- Fr. 456'000.--
Für die direkte Bundessteuer veranlagte es den Pflichtigen gleichentags mit einem steuerbaren Einkommen von Fr. 133'600.-- (Steuerperiode 2003), von Fr. 135'000.-- (Steuerperiode 2004) sowie Fr. 509'700.-- (Steuerperiode 2005).
C.
Während die kantonalen Rechtsmittel abgewiesen wurden (Entscheid des Steuerrekursgerichts vom 31. März 2014; Urteil des Verwaltungsgerichts vom 20. August 2014), hiess das Bundesgericht die gegen das Urteil des Verwaltungsgerichts erhobene Beschwerde in öffentlich-rechtlichen Angelegenheiten mit Urteil vom 18. Juni 2015 gut. Es hob den Entscheid des Verwaltungsgerichts auf und wies die Sache zur Neubeurteilung im Sinne der Erwägungen an dieses zurück (Urteil 2C_971/2014, 2C_972/2014 vom 18. Juni 2015). Daraufhin nahm das Verwaltungsgericht das Verfahren wieder auf und wies die Beschwerden am 26. August 2015 erneut ab.
D.
A._ legt mit Eingabe vom 28. Oktober 2015 Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht ein. Er beantragt, das Urteil des Verwaltungsgerichts sei aufzuheben und die Angelegenheit mit der Auflage an die Vorinstanz zurückzuweisen, die von ihm angebotenen Beweismittel abzunehmen. Eventuell sei von einem steuerbaren Einkommen von Fr. 0.-- (Steuerperiode 2003), von Fr. 0.-- (Steuerperiode 2004) und Fr. 16'000.-- für die direkte Bundessteuer bzw. 15'200.-- für die Staats- und Gemeindesteuern (Steuerperiode 2005) auszugehen.
Erwägungen:
1.
1.1. Die Vorinstanz hat ein einziges Urteil für die Staats- und Gemeindesteuer sowie für die direkte Bundessteuer erlassen, was zulässig ist, soweit die zu entscheidende Rechtsfrage im Bundesrecht und im harmonisierten kantonalen Recht gleich geregelt ist (BGE 135 II 260 E. 1.3.1 S. 262 f.). Unter diesen Umständen ist dem Beschwerdeführer nicht vorzuwerfen, nicht zwei getrennte Beschwerden eingereicht und keine getrennten Anträge gestellt zu haben; aus seiner Eingabe geht deutlich hervor, dass sie beide Steuerarten betrifft (BGE 135 II 260 E. 1.3.3 S. 264; Urteil 2C_164/2013, 2C_165/2013 vom 28. März 2014 E. 1.1 nicht publ. in: BGE 140 II 248). Das Bundesgericht hat hier für die Staats- und Gemeindesteuer (2C_918/2015) und die direkte Bundessteuer (2C_919/2015) getrennte Dossiers angelegt. Da beide Verfahren auf demselben Sachverhalt beruhen und sich dieselben Rechtsfragen stellen, sind die Verfahren zu vereinigen und die Beschwerde ist in einem einzigen Urteil zu erledigen (vgl. Art. 71 BGG in Verbindung mit Art. 24 BZP [SR 273]; BGE 131 V 59 E. 1 S. 60 f. mit Hinweis).
1.2. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist zulässig gegen einen (End-) Entscheid einer letzten oberen kantonalen Instanz in einer Angelegenheit des öffentlichen Rechts, soweit kein Ausschlussgrund vorliegt (Art. 82 lit. a, Art. 83, Art. 86 Abs. 1 lit. d und Abs. 2, Art. 90 BGG i.V.m. Art. 146 DBG [SR 642.11] und Art. 73 des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden [StHG, SR 642.14]). Die Beschwerdeführer sind gestützt auf Art. 89 Abs. 1 BGG zur Beschwerde in öffentlich-rechtlichen Angelegenheiten legitimiert. Auf die frist- und formgerecht eingereichte Beschwerde ist einzutreten (Art. 42 und 100 BGG).
1.3. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (Art. 95 BGG). Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG), doch prüft es unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 2 BGG) grundsätzlich nur die geltend gemachten Rechtswidrigkeiten, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind.
1.4. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Die vorinstanzlichen Feststellungen können nur berichtigt werden, sofern sie entweder offensichtlich unrichtig, d. h. willkürlich ermittelt worden sind (Art. 9 BV; BGE 137 II 353 E. 5.1 S. 356) oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruhen (Art. 105 Abs. 2 BGG). Zudem hat die beschwerdeführende Partei aufzuzeigen, dass die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG; BGE 137 III 226 E. 4.2 S. 234). Aufgrund von Art. 99 Abs. 1 BGG dürfen neue Tatsachen und Beweismittel nur so weit vorgebracht werden, als der angefochtene Entscheid hierzu Anlass gibt (vgl. BGE 139 III 120 E. 3.1.2 S. 123 mit Hinweisen).
2.
Der Beschwerdeführer rügt, bei der Vorinstanz handle es sich um kein unabhängiges und unparteiisches Gericht, weshalb Art. 30 Abs. 1 BV verletzt sei. Insbesondere Richter B._ und Richterin C._ sollen über gemeinsame geschäftliche Verflechtungen verfügen, weil sie beide für das Institut für Schweizerisches und Internationales Steuerrecht (ISIS) tätig seien. Zudem seien sämtliche Richter in den vorinstanzlichen Verfahren ehemalige Steuerkommissäre oder juristische Sekretäre des Steueramtes und somit ehemalige Mitarbeiter der Gegenpartei gewesen.
2.1. Die Vorwürfe des Beschwerdeführers decken sich mit denjenigen, welche er im vorliegenden Verfahren bereits einmal gegen das Verwaltungsgericht des Kantons Zürich erhoben hat. Im Urteil 2C_1/2011 vom 7. April 2011 E. 2 behandelte das Bundesgericht damals ein Ausstandsbegehren des Beschwerdeführers gegen die im Veranlagungsverfahren zuständige Revisorin sowie gegen den Chef der Division Bücherrevision des kantonalen Steueramtes. Das Bundesgericht hat dazu festgehalten, dass die Rüge der Verletzung von Art. 30 Abs. 1 BV sowie Art. 14 Ziff. 1 UNO-Pakt II (SR 0.103.2) - welche insoweit keinen weitergehenden Anspruch begründet - mangels jeglicher Anhaltspunkte für die Annahme einer Parteilichkeit oder Abhängigkeit des Verwaltungsgerichts offensichtlich unbegründet ist. Die Befürchtungen des Beschwerdeführers sind rein abstrakter Natur und lassen bei objektiver Betrachtung keinerlei Voreingenommenheit vermuten. Dies gilt namentlich für die Zugehörigkeit zum Institut für Schweizerisches und Internationales Steuerrecht (ISIS), die nicht anders zu beurteilen ist als jene zu einer anderen Interessengruppe oder zu einem Berufsverband (vgl. Urteil 8F_3/2008 vom 20. August 2008).
2.2. Zudem erfolgt das Ausstandsbegehren verspätet. Nach der Rechtsprechung verstösst es gegen Treu und Glauben, Ablehnungsgründe erst nach einem ungünstigen Entscheid im Rechtsmittelverfahren vorzubringen, wenn der Mangel schon vorher hätte festgestellt werden können. Diesfalls ist der Anspruch auf Anrufung der Garantie von Art. 30 Abs. 1 BV verwirkt. Nach der Rechtsprechung ist das Gericht nicht verpflichtet, den Parteien die Zusammensetzung des Spruchkörpers vorgängig bekannt zu geben; es genügt, wenn die entsprechenden Namen aus einer leicht zugänglichen öffentlichen Quelle (etwa dem Staatskalender) hervorgehen. Die Parteien müssen (bzw. dürfen) damit rechnen, dass das Gericht in seiner ordentlichen Besetzung tagen wird (BGE 139 III 120 E. 3.2.1 S. 124 mit Hinweisen). Bei einer von einem Anwalt vertretenen Partei ist jedenfalls zu vermuten, dass sie die reguläre Zusammensetzung des Gerichts kennt. Dies muss auch dann gelten, wenn die Partei nicht vertreten, aber selbst Rechtsanwalt ist. Sofern also die Partei mit der Mitwirkung bestimmter (ordentlicher) Gerichtsmitglieder rechnen muss, hat sie allfällige Ausstandsgründe sofort zu erheben.
2.3. Unbehelflich ist zudem auch die Ansicht des Beschwerdeführers, dass dem vorinstanzlichen Urteil aufgrund der Höhe des geschätzten Einkommens Strafcharakter zukomme und er sich deshalb auch auf die Garantien von Art. 6 EMRK berufen könne. Wie er bereits selbst anführt, weist die Ermessenseinschätzung keinen Strafcharakter auf (RICHNER/FREI/KAUFMANN/MEUTER, Kommentar zum Zürcher Steuergesetz, 2013, N. 86 zu § 139 StG/ZH). Daran ändert sich auch nichts, wenn die Einschätzung höher als vom Beschwerdeführer gewünscht ausfällt. Sie wäre aber anzupassen, wenn sie offensichtlich unrichtig ist (E. 5.1).
3.
Der Beschwerdeführer erblickt zahlreiche Verletzungen seiner Verfahrensrechte. Die Vorwürfe bestehen vorab aus appellatorischen Anschuldigungen, welche sich auf das Veranlagungsverfahren beziehen. Er rügt u.a. sinngemäss, dass die Behörden ihrer Untersuchungspflicht nicht nachgekommen seien, weil sie den Sachverhalt nur ungenügend abgeklärt hätten. Ebenfalls sinngemäss beanstandet er eine Verletzung seines Anspruchs auf rechtliches Gehör, weil verschiedene Beweismittel nicht abgenommen und ihm die Akteneinsicht nicht gewährt worden sei. Ohnehin hätten die Behörden ihre Dokumentationspflicht nicht wahrgenommen. Insgesamt liege ein Verfahren vor, das den Anforderungen von Art. 30 Abs. 1 BV nicht mehr genüge.
3.1. Die Vorinstanz hat zutreffend dargelegt, welche Aufgaben den Behörden bei der Veranlagung im ordentlichen Verfahren (Art. 122 ff. DBG bzw. §§ 132 ff. des Steuergesetzes [des Kantons Zürich] vom 8. Juni 1997 [StG/ZH; LS 631.1]) zukommen und welche Pflichten dem Steuerpflichtigen obliegen. Darauf kann verwiesen werden (E. 2.1 des vorinstanzlichen Entscheides).
3.1.1. Das Bundesgericht hat im bereits erwähnten Urteil 2C_1/2011 vom 7. April 2011 E. 4.3 festgehalten, dass die Vorgehensweise der zuständigen Revisorin im Veranlagungsverfahren auf den gesetzlichen Bestimmungen beruhte und keine Anhaltspunkte für ein unsachgemässes Handeln erkennbar sind. Auch das Verwaltungsgericht legte nochmals ausführlich dar (E. 2.3 des vorinstanzlichen Entscheides), dass das kantonale Steueramt seiner Untersuchungspflicht nachgekommen ist. Aufgrund unvollständiger Steuererklärungen 2003 und 2005 sowie der Nichteinreichung der Steuererklärung 2004 führte das kantonale Steueramt eine Buchprüfung durch, welche aufgrund der mangelhaften Deklaration des Beschwerdeführers notwendig und diesem angezeigt wurde. In der Folge wurde der Beschwerdeführer mehrmals aufgefordert, Unterlagen zur Klärung des Sachverhalts einzureichen, weil auch die Buchprüfung keine Klarheit in Bezug auf die steuerlichen Verhältnisse des Beschwerdeführers brachten. Der Beschwerdeführer macht, unter Vorbehalt derjenigen vom 28. Juni 2013 (vgl. E. 4), nicht geltend, dass diese Auflagen unverhältnismässig oder der Aufwand zur Beschaffung der Unterlagen unzumutbar war und dadurch die Grenzen seiner Mitwirkungspflicht überschritten wurden (vgl. BGE 120 Ib 417 E. 1c. S. 423). Eine Verletzung der behördlichen Untersuchungspflicht liegt dementsprechend nicht vor.
3.1.2. Den Vorwurf, dass die Veranlagungsbehörden ihrer Dokumentationspflicht nicht nachgekommen seien, vermag der Beschwerdeführer ebenfalls nicht zu belegen. Die Unterlagen, welche das kantonale Steueramt Solothurn mittels Amtshilfe nach Art. 111 DBG sowie Art. 39 StHG zur Verfügung stellten, finden sich in den Akten. Die Anfrage an sich musste entgegen der Ansicht des Beschwerdeführers nicht protokolliert werden, da sie nicht entscheidwesentlich ist (BGE 130 II 473 E. 4 S. 477).
3.1.3. Der Beschwerdeführer beanstandet in pauschaler Weise, dass ihm während der Besprechung vom 30. Mai 2008 verschiedene Fragen, welche er mit Schreiben vom 6. März 2008 gestellt habe, nur unvollständig beantwortet worden seien. Erstellt ist einzig, dass sich das Steueramt nicht ausreichend mit dem Argument des Beschwerdeführers auseinandergesetzt hat, dass er seine selbständige Erwerbstätigkeit auch nach dem 31. Dezember 2003 weiter geführt habe. Dieses Versäumnis wurde aber später nachgeholt, indem das Steuerrekursgericht mit Entscheid vom 22. November 2012 das Rechtsmittel des Beschwerdeführers teilweise guthiess und die Sache zur weiteren Sachverhaltsabklärung betreffend der Aufgabe der selbständigen Erwerbstätigkeit an das Steueramt zurückwies, welches die Vorgaben danach im Entscheid vom 12. Dezember 2013 umsetzte. Andere Versäumnisse kann der Beschwerdeführer nicht belegen. Der Vorwurf, das rechtliche Gehör sei im Veranlagungsverfahren verletzt worden, läuft somit ins Leere.
3.2. Weitere Verletzungen des rechtlichen Gehörs bringt der Beschwerdeführer in Zusammenhang mit dem angefochtenen Entscheid vor:
3.2.1. So habe sich die Vorinstanz bei der Ermittlung des Sachverhalts unzulässigerweise auf die Arbeitsverträge zwischen den angestellten Rechtsanwälten D._ sowie E._ und den beiden selbständig tätigen Rechtsanwälten F._ sowie dem Beschwerdeführer gestützt. Bei diesen Verträgen handle es sich um Beweismittel, die die Vorinstanz neu eingeführt habe und im Veranlagungsverfahren nicht thematisiert worden seien. Entgegen § 61 des Verwaltungsrechtspflegegesetzes (des Kantons Zürich) vom 24. Mai 1959 (VRG/ZH; LS 175.2) sei ihm bei der Erhebung dieser Beweismittel sein Recht zur Stellungnahme verweigert worden.
3.2.2. Art. 29 Abs. 1 BV garantiert die ordnungsgemässe Anwendung des Verfahrensrechts. Ist dabei kantonales Verfahrensrecht anwendbar, beschränkt sich die Prüfung durch das Bundesgericht auf Willkür (GEROLD STEINMANN, in: St.Galler Kommentar zur Schweizerischen Bundesverfassung, 3. Aufl. 2014, N. 20 zu Art. 29 BV). Die Arbeitsverträge der Rechtsanwälte E._ und D._ sind keine Beweismittel, welche die Vorinstanz neu eingeführt hätte. Sie wurden bereits im Rahmen des Einschätzungsverfahrens eingeholt und befanden sich bei den Akten. Die Vorinstanz war deshalb mangels Erhebung neuer Beweise aus § 61 VRG/ZH nicht verpflichtet, den Beschwerdeführer anzuhören; eine willkürliche Anwendung der kantonalen Verfahrensbestimmung liegt nicht vor. Im Weiteren würdigt das Gericht die Beweise frei (Grundsatz der freien Beweiswürdigung). Entscheidend dafür, ob eine Tatsache als gegeben erachtet wird, ist einzig die Überzeugung des Gerichts im Rahmen der Beweiswürdigung. Eine unrichtige Beweiswürdigung durch die Vorinstanz stellt keine Verletzung wesentlicher Verfahrensvorschriften dar; das Verwaltungsgericht kann daher den Mangel selber korrigieren und das Ergebnis der Untersuchung frei würdigen (MARCO DONATSCH, in: Kommentar VRG, 3. Aufl. 2014, N. 12 zu § 60 VRG/ZH). Eine Rückweisung der Sache vom Verwaltungsgericht an seine Vorinstanz war deshalb nicht notwendig.
3.2.3. Gemäss dem Beschwerdeführer seien die fraglichen Arbeitsverträge zudem nicht mit seiner Einzelfirma abgeschlossen worden. Eine solche habe gar nicht bestanden, sondern eine Kollektivgesellschaft G._ Rechtsanwälte, welche aber nicht im Handelsregister eingetragen gewesen sei. Nach Auflösung der Kollektivgesellschaft habe anschliessend die GmbH die Löhne und Sozialabgaben bezahlt, womit die Arbeitsverträge formlos auf die H._ GmbH Zürich übergegangen seien, was im Einklang mit den Bestimmungen des OR stehe. Dies lasse sich nicht aus den Akten entnehmen, weil sich die Steuerbehörden geweigert hätten, die Akten der H._ GmbH Zürich beizuziehen. Wie bereits erwähnt (E. 3.1.1), konnte der Beschwerdeführer seinen Vorwurf, die Behörden seien ihrer Untersuchungspflicht nicht nachgekommen, nicht belegen. Zudem ist er grundsätzlich verpflichtet, die notwendigen Beweismittel selber zu beschaffen und einzureichen (RICHNER/FREI/KAUFMANN/MEUTER, a.a.O., N. 30 zu § 135 StG/ZH). Entgegen der Ansicht des Beschwerdeführers reicht es deshalb nicht aus, wenn die Akten für die H._ GmbH Zürich sowie der Kollektivgesellschaft G._ Rechtsanwälte in deren Veranlagungsverfahren eingereicht wurden, was aber ebenfalls nicht belegt ist. Dass ihm die Beschaffung nicht möglich oder nicht zumutbar gewesen wäre, behauptet der Beschwerdeführer nicht. Inwiefern die vorinstanzliche Sachverhaltsfeststellung willkürlich gewesen ist, substantiiert der Beschwerdeführer nicht weiter.
3.2.4. Der Beschwerdeführer bestreitet, dass bei den Honorareinnahmen eine Vermischung zwischen Einzelfirma und der H._ GmbH Zürich stattgefunden habe. Vielmehr sei es so, dass die Honorareingänge für das erste Trimester bei der Einzelfirma verbucht worden seien und für den Rest des Jahres bei der GmbH. Zudem sei das Anwaltsbüro in den fraglichen Jahren rasch gewachsen, so dass alle paar Monate mit der Anstellung eines neuen Anwalts neues Briefpapier habe beschafft und entsprechend angepasst werden müssen. Die Rechtsanwälte seien gewinnbeteiligt gewesen und zur besseren Kontrolle sei für sie ein eigenes Bankkonto eingerichtet worden, welches bei ihrem Ausscheiden wieder aufgelöst worden sei. Die Kontos seien bei der GmbH verzeichnet, deren Akten aber nicht beigezogen worden seien. Im Übrigen seien die Honorarrechnungen erst von der Vorinstanz thematisiert worden und er habe dazu keine Stellung nehmen könne, wodurch ihm auch diesbezüglich das rechtliche Gehör nicht gewährt worden sei. Wie bereits erwähnt (E. 3.2.2), hat die Vorinstanz keine neuen Beweise erhoben, so dass in dieser Hinsicht keine Verletzung des rechtlichen Gehörs besteht. Auch sind die Behörden ihrer Untersuchungspflicht nachgekommen und ist das Fehlen der fraglichen Unterlagen nicht ihnen anzulasten (E. 3.1.1). Die Ausführungen des Beschwerdeführers bleiben unbelegt und erweisen sich als rein appellatorischer Natur. Die Sachverhaltsfeststellung der Vorinstanz ist auch in dieser Hinsicht nicht offensichtlich unrichtig.
3.3. Eine Verletzung des rechtlichen Gehörs des Beschwerdeführers liegt nicht vor und die Feststellung des Sachverhalts beruht nicht auf einer Rechtsverletzung (Art. 97 Abs. 1 BGG). Eine willkürliche Sachverhaltsfeststellung durch die Vorinstanz kann der Beschwerdeführer nicht weiter belegen. Insgesamt bestehen keine Anhaltspunkte, dass nicht ein faires Verfahren i.S.v. Art. 30 Abs. 1 BV stattgefunden hat.
4.
Die Veranlagungsbehörde nimmt die Veranlagung nach pflichtgemässem Ermessen vor, wenn die steuerpflichtige Person trotz Mahnung ihre Verfahrenspflichten nicht erfüllt hat oder die Steuerfaktoren mangels zuverlässiger Unterlagen nicht einwandfrei ermittelt werden können. Sie kann dabei Erfahrungszahlen, Vermögensentwicklung und Lebensaufwand des Steuerpflichtigen berücksichtigen (Art. 130 Abs. 2 DBG bzw. § 139 Abs. 2 StG/ZH).
4.1. Während die Vorinstanz davon ausgeht, dass der Beschwerdeführer seine Verfahrenspflichten verletzt hat, bestreitet dieser die Zulässigkeit der Ermessensveranlagung. Umstritten ist insbesondere die Auflage, welche das Steueramt dem Beschwerdeführer mit Schreiben vom 28. Juni 2013 machte und diesen - entsprechend dem Entscheid des Steuerrekursgerichts im ersten Rechtsgang - aufforderte, für die Jahre 2003 und 2005 das vollständig ausgefüllte Hilfsblatt A einzureichen, wobei die über die H._ GmbH Zürich verbuchten Erträge aus Rechtsberatungen und die damit verbundenen Aufwendungen in der Einzelfirma I._ einzuschliessen seien. Ferner sei eine vollständig ausgefüllte Steuererklärung für das Jahr 2004 einzureichen. Am 30. September 2013 reichte der Beschwerdeführer eine Steuererklärung für das Jahr 2004 ein; mit der Begründung, die Vorgabe des Steuerrekursgerichts sei unrechtmässig, gab er für die Jahre 2003 und 2005 weder die Erträge noch die Aufwendungen der H._ GmbH Zürich an.
4.2. Weil sich im anschliessenden Rechtsmittelverfahren das Verwaltungsgericht nicht mit der Rechtmässigkeit der Auflage befasste und dadurch den Anspruch des Beschwerdeführers auf rechtliches Gehör sowie die Rechtsweggarantie verletzte, wies das Bundesgericht mit Urteil 2C_971/2014, 2C_972/2014 vom 18. Juni 2015 die Sache zur Neubeurteilung an das Verwaltungsgericht zurück. Im angefochtenen Entscheid prüfte das Verwaltungsgericht nun die Rechtmässigkeit der Auflage und gelangte zum Schluss, dass diese nicht zu beanstanden sei (E. 3.2.2.2).
4.2.1. Der H._ GmbH Zürich sei es in den betroffenen Steuerperioden noch nicht erlaubt gewesen, Anwälte anzustellen und in eigenem Namen als Gesellschaft Anwaltsdienstleistungen zu erbringen. Dazu habe es eine selbständige anwaltliche Erwerbstätigkeit gebraucht, wie z.B. im Rahmen einer Einzelfirma. Die H._ GmbH Zürich habe somit lediglich als eine reine Betriebsgesellschaft tätig sein können. Die Aufsichtskommission über Anwältinnen und Anwälte des Kantons Zürich habe die Eintragung von Anwälten, welche bei einer Gesellschaft angestellt sind, in das Anwaltsregister erstmals am 5. Oktober 2006 erlaubt. Deshalb sei es in den Steuerperioden 2003 bis 2005 weder dem Beschwerdeführer noch seinen Mitarbeitern möglich gewesen, als Anwälte im Namen der H._ GmbH Zürich anwaltlich tätig zu sein können. Die effektive Leistungserbringung im Bereich der Anwaltstätigkeit habe nur durch die Einzelfirma erfolgen können. Der Rechtsanspruch auf Vergütung der jeweiligen anwaltlichen Leistungserbringung habe der Einzelfirma und nicht der GmbH zugestanden. Weil grundsätzlich sowohl Einkommen bzw. Ertrag als auch Vermögen bzw. Kapital jenem Steuersubjekt zuzurechnen ist, welches zivilrechtlich darauf Anspruch hat (HÖHN/WALDBURGER, Steuerrecht Band I, 9. Aufl., Bern 2001, § 13 Rz. 32 ff. sowie § 17 Rz. 15 ff.), sei es aus steuerrechtlicher Sicht nicht zulässig gewesen, die durch die selbständige Anwaltstätigkeit im Rahmen der Einzelfirma erwirtschafteten Honorareinnahmen nach Belieben des Beschwerdeführers seiner GmbH zuzurechnen. Die Auflage, welche vom Beschwerdeführer einzig die korrekte Zuordnung der entsprechenden Erträge und Aufwendungen zu den jeweiligen Steuersubjekten verlange, sei deshalb nicht zu beanstanden.
4.2.2. Nach der bundesgerichtlichen Praxis ist die Rechtmässigkeit von Verwaltungsakten mangels einer anderslautenden übergangsrechtlichen Regelung nach der Rechtslage im Zeitpunkt ihres Ergehens zu beurteilen (BGE 139 II 263 E. 6 S. 267 mit Hinweisen). Das Bundesgericht hat in BGE 138 II 440 E. 18 S. 456 festgehalten, dass körperschaftlich organisierte Anwaltskanzleien nicht in Widerspruch zu Art. 8 Abs. 1 lit. d des Bundesgesetzes vom 23. Juni 2000 über die Freizügigkeit der Anwältinnen und Anwälte (Anwaltsgesetz, BGFA; SR 935.61) stehen, solange die institutionelle Unabhängigkeit gewahrt bleibt. Da das Anwaltsgesetz bereits am 1. Juni 2002 in Kraft getreten ist (AS 2002 863) und ab diesem Zeitpunkt seine Rechtswirkung entfaltet (Art. 8 des Bundesgesetzes vom 18. Juni 2004 über die Sammlungen des Bundesrechts und das Bundesblatt [Publikationsgesetz, PublG; SR 170.512]), muss diese Erkenntnis auch für die Steuerperioden 2003 bis 2005 gelten, selbst wenn das bundesgerichtliche Urteil erst danach für die Klärung der bis dahin umstrittenen Rechtsfrage gesorgt hat. Sind neben der institutionellen Unabhängigkeit die weiteren fachlichen und persönlichen Voraussetzungen nach Art. 7 und 8 BGFA erfüllt, besteht ein Anspruch auf Eintragung in das kantonale Anwaltsregister. Den Aufsichtsbehörden kommt dann kein Ermessen zu (STAEHELIN/OETIKER, in: Kommentar zum Anwaltsgesetz, 2. Aufl. 2011, N. 5 zu Art. 6 BGFA). Dem Beschwerdeführer war es demnach möglich, in den Steuerperioden 2003 bis 2005 als Anwalt im Namen der H._ GmbH Zürich tätig zu sein.
4.2.3. Die Auflage des Steueramtes lässt sich deshalb unter dem Blickwinkel der Unzulässigkeit des Betriebs einer Anwalts-GmbH nicht rechtfertigen.
4.3. Ein Beschwerdeentscheid kann auch auf zwei selbständigen Begründungen, einer Haupt- und einer Eventualbegründung, beruhen. In einem solchen Fall muss sich die beschwerdeführende Partei vor Bundesgericht mit jeder dieser beiden Alternativbegründungen auseinandersetzen und dartun, dass und weshalb sie Bundesrecht verletzen (BGE 121 IV 96 E. 1c).
4.3.1. Die Vorinstanz hat von dieser Möglichkeit Gebrauch gemacht. Sie hat erwogen, dass selbst wenn entgegen ihrer Ansicht körperschaftlich organisierte Anwaltskanzleien bereits in den fraglichen Steuerperioden zulässig waren, die Auflage an den Beschwerdeführer trotzdem rechtens war. Der Beschwerdeführer habe es unterlassen, die Strukturen der H._ GmbH Zürich hinreichend von seiner selbständigen Erwerbstätigkeit als Anwalt abzugrenzen, um so eine korrekte steuerliche Erfassung seiner anwaltlichen Tätigkeit zu ermöglichen. Insbesondere in Fällen wirtschaftlicher Identität zwischen Gesellschaft und Inhaber ist es Sache des Pflichtigen, für klare Verhältnisse zu sorgen (Urteil 2C_396/2011 vom 26. April 2012 E. 4.2.2). Wie die Vorinstanz willkürfrei festgehalten hat, konnte eine exakte Abgrenzung zwischen der Tätigkeit des Beschwerdeführers als selbständig erwerbendem Rechtsanwalt im Rahmen seiner Einzelfirma und der Tätigkeit für die H._ GmbH Zürich weder bei der Organisation, insbesondere der buchhalterischen Erfassung der Honorarerträge und den damit zusammenhängenden Aufwendungen, noch beim Auftritt nach aussen erkannt werden. Die Auflage, die Erträge und Aufwendungen aus anwaltlicher Tätigkeit, welche bei der GmbH verbucht worden sind, bei der Einzelfirma zu berücksichtigen, war somit notwendig, um eine korrekte steuerliche Erfassung seiner anwaltlichen Tätigkeiten zu ermöglichen. Dieses Vorgehen stellt, entgegen der Ansicht des Beschwerdeführers, auch keinen Durchgriff dar. Verlangt wird nur die korrekte Zuordnung der Erträge und Aufwendungen auf die einzelnen Steuersubjekte; die Trennung zwischen Gesellschaft und Gesellschafter bleibt unangetastet (vgl. Urteil 2C_396/2011 vom 26. April 2012 E. 4.2.1 und 4.2.3).
4.3.2. Der Beschwerdeführer ist der Ansicht, dass die Vorinstanz mit dieser alternativen Begründung den Streitgegenstand ("Prozessthema") in unzulässiger Weise erweitert habe. Ihm sei die Auflage nur in Zusammenhang mit der Zulässigkeit von Anwaltsgesellschaften gemacht worden, wodurch das Veranlagungsverfahren auf dieses Thema begrenzt worden sei. Die Begründung der Vorinstanz unter Beizug von Arbeitsverträgen, des geschäftlichen Auftritts und der angeblichen Vermischung von Honorareinnahmen stelle deshalb ein Novum dar.
4.3.3. Streitgegenstand im System der nachträglichen Verwaltungsrechtspflege ist das Rechtsverhältnis, welches - im Rahmen des durch die Verfügung bestimmten Anfechtungsgegenstandes - den auf Grund der Beschwerdebegehren effektiv angefochtenen Verfügungsgegenstand bildet. Anfechtungs- und Streitgegenstand sind danach identisch, wenn die Verwaltungsverfügung insgesamt angefochten wird; bezieht sich demgegenüber die Beschwerde nur auf einzelne der durch die Verfügung bestimmten Rechtsverhältnisse, gehören die nicht beanstandeten - verfügungsweise festgelegten - Rechtsverhältnisse zwar wohl zum Anfechtungs-, nicht aber zum Streitgegenstand (BGE 131 V 164 E. 2.1 S. 165). Die rechtliche Begründung ist nicht Bestandteil des Streitgegenstandes; sie kann daher im Rahmen des streitigen Lebenssachverhalts - und innerhalb des durch die angefochtene Anordnung bestimmten Streitgegenstands - während des Verfahrens geändert werden. Ohnehin ist eine Rekursinstanz wegen des Grundsatzes der Rechtsanwendung von Amtes wegen nicht an die Rechtsauffassung der Verfahrensbeteiligten bzw. einer allfälligen Vorinstanz gebunden. Sie ist berechtigt, durch eine sog. Motivsubstitution eine im Ergebnis richtige, aber falsch begründete Anordnung aus anderen rechtlichen Gründen zu bestätigen (DONATSCH, a.a.O., N. 20 f. zu § 20a VRG/ZH).
4.3.4. Das kantonale Steueramt hat in seiner Verfügung die Besteuerung des Beschwerdeführers für die Steuerperioden 2003 - 2005 nach pflichtgemässem Ermessen geschätzt. Diesen Entscheid hat der Beschwerdeführer jeweils in vollem Umfang bei den nachfolgenden Instanzen angefochten und nicht nur die Auflage des Steueramtes. Anfechtungs- und Streitgegenstand sind im vorliegenden Verfahren identisch; zu regelndes Rechtsverhältnis ist die ordentliche Veranlagung des Beschwerdeführers für die Steuerperioden 2003 - 2005, d.h. die verpflichtende Festsetzung des Betrages der Steuerschuld (RICHNER/FREI/KAUFMANN/MEUTER, a.a.O, N. 2 zu § 139 StG/ZH). Dafür muss das Einkommen des Beschwerdeführers aus selbständiger Erwerbstätigkeit ermittelt werden. Inwiefern dieses sich durch die Zulässigkeit von Anwaltsgesellschaften während des fraglichen Zeitraums bestimmt, ist eine Frage der rechtlichen Würdigung und steht nicht ausserhalb des Streitgegenstands. Dies wäre nur der Fall, wenn der Rechtsgrund ausgewechselt würde, d.h. die gleiche Rechtsfolge aus einem wesentlichen verschiedenen Sachverhalt, verbunden mit einem anderen Rechtssatz abgeleitet würde (MARTIN BERTSCHI, in: Kommentar VRG, 3. Aufl. 2014, N. 47 zu Vorbemerkungen zu §§ 19-28a VRG/ZH).
4.3.5. Die Auflage des Steueramtes erweist sich somit aufgrund der zulässigen Eventualbegründung der Vorinstanz als rechtmässig.
4.4. Gemäss der verbindlichen Sachverhaltsfeststellung durch die Vorinstanz hat der Beschwerdeführer die in der Auflage verlangten Angaben trotz Mahnung nicht erfüllt. In Bezug auf die Steuerperioden 2003 und 2005 hat er weder weitere Belege noch sonstige, die bereits in den Akten vorhandenen Dokumente ergänzende Unterlagen ins Recht gelegt. Seine Angaben blieben daher unvollständig. In Bezug auf die Steuerperiode 2004 reichte der Beschwerdeführer zwar die von ihm geforderte Steuererklärung sowie das Hilfsblatt A ein, doch waren diese ebenfalls unvollständig. Entgegen der Ansicht des Beschwerdeführers reicht es für die Einschätzung seiner Einzelfirma auch nicht aus, wenn die Akten für die H._ GmbH Zürich in einem anderen Verfahren eingereicht worden wären (E. 3.2.3). Der Beschwerdeführer ist somit seinen Mitwirkungspflichten im Veranlagungsverfahren nicht nachgekommen.
4.5. Zusätzlich stellte die Vorinstanz fest, dass der Beschwerdeführer nicht nur die Vorgaben der Auflage nicht befolgt, sondern auch seiner Verfahrenspflicht zur ordnungsgemässen Buchhaltung nicht nachgekommen ist, indem er nur eine mangelhafte Abgrenzung von Erträgen und Aufwendungen der Einzelfirma und der GmbH vornahm. Dieses Versäumnis rechtfertigt üblicherweise eine Einschätzung nach pflichtgemässem Ermessen (Urteil 2C_136/2011 vom 30. April 2012).
5.
Hat die steuerpflichtige Person trotz Mahnung ihre Verfahrenspflichten nicht erfüllt oder können die Steuerfaktoren mangels zuverlässiger Unterlagen nicht einwandfrei ermittelt werden, so nimmt die Veranlagungsbehörde die Veranlagung nach pflichtgemässem Ermessen vor. Sie kann dabei Erfahrungszahlen, Vermögensentwicklung und Lebensaufwand des Steuerpflichtigen berücksichtigen (Art. 130 Abs. 2 DBG bzw. § 139 Abs. 2 StG/ZH).
5.1. Eine Veranlagung nach pflichtgemässem Ermessen kann die steuerpflichtige Person nur wegen offensichtlicher Unrichtigkeit anfechten. Die Einsprache ist zu begründen und muss allfällige Beweismittel nennen (Art. 132 Abs. 3 DBG bzw. § 140 Abs. 2 StG/ZH). Offensichtlich unrichtig ist eine Schätzung, die einen wesentlichen Gesichtspunkt übergangen oder falsch gewürdigt hat. Das Bundesgericht ist an die Ermessenseinschätzung gebunden, wenn sie auf einer richtigen und vollständigen Sachverhaltsermittlung und auf einer sachgerechten Abwägung der Gesamtheit der für die Veranlagung massgebenden Verhältnisse beruht, wobei den zuständigen Behörden ein gewisser Spielraum für die zahlenmässige Auswertung der Untersuchungsergebnisse zusteht; so lange sich ihre Schätzung im Rahmen des so gegebenen Spielraums hält, kann das Bundesgericht nicht eingreifen (Urteil 2C_441/2008 vom 30. Januar 2009 E. 2.3). Wer als steuerpflichtige Person eine Ermessensveranlagung vor Bundesgericht anficht, muss sich mit deren Elementen im Einzelnen auseinandersetzen und zeigen, dass die Schätzung auf unhaltbaren Grundlagen oder auf offensichtlich unrichtigen Sachverhaltsfeststellungen beruht. Es ist klar darzutun und im einzelnen zu belegen, dass und weshalb eine vorgenommene Schätzung offensichtlich falsch sein soll bzw. wesentliche Gesichtspunkte übergangen oder falsch gewürdigt worden sind (Urteil 2C_440/2014, 2C_441/2014 vom 10. Oktober 2014 E. 11.1).
5.2. Der Beschwerdeführer macht geltend, dass die Vorinstanz auch bei einer Ermessenseinschätzung an die Tatsachenfeststellung der Revisorin im ersten Schätzungsverfahren gebunden sei, welche für die Einzelfirma im Jahre 2003 einen Verlust und für 2004 keine selbständige Erwerbstätigkeit ergeben haben. Jedoch hat bereits das Steuerrekursgericht in seinem ersten Entscheid vom 22. November 2012 die diesbezügliche Sachverhaltsfeststellung als fehlerhaft erkannt und die Sache zur weiteren Sachverhaltsabklärung an das Steueramt zurückgewiesen, insbesondere mit der Anordnung das entgegen der Ansicht des Steueramtes eine selbständige Erwerbstätigkeit des Beschwerdeführers bestehe. Das Steueramt nahm dementsprechend mit Entscheid vom 12. Dezember 2013 eine neue Schätzung vor, welche diejenige vom 23. bzw. 24. Februar 2012 ersetzte, weil sie auf falschen Annahmen beruhte. Die Vorinstanz ist keinesfalls an die Sachverhaltsfeststellung in einem aufgehobenen Entscheid gebunden (vgl. E. 3.2.2).
5.3. Der Beschwerdeführer bringt vor, dass er ab dem 1. Januar 2004 seinen am 20. Juli 2003 geborenen Sohn betreut habe. Wie die Vorinstanz festgestellt hat, finden sich dafür keine Belege in den Akten. Der Beschwerdeführer führt das Fehlen der entsprechenden Vereinbarung zwischen ihm und der Mutter seines Sohnes auf die mangelhafte Dokumentation der Behörden zurück. Es liege kein Novum vor, habe er diesen Umstand doch bereits mit der Eingabe vom 30. September 2013 dem kantonalen Steueramt mitgeteilt. Die Vereinbarung selbst wurde jedoch erstmals erst mit der Beschwerde vor Bundesgericht vom 22. Oktober 2014 eingereicht. Im Verfahren vor Bundesgericht können jedoch neue Beweismittel nur so weit vorgebracht werden, als der angefochtene Entscheid hierzu Anlass gibt (E. 1.4), was vorliegend nicht der Fall ist. Es handelt sich somit um ein unzulässiges Novum, welches nicht zu berücksichtigen ist. Dabei spielt es keine Rolle, dass das Verfahren nochmals an das kantonale Verwaltungsgericht zurückgewiesen wurde, weil dieses bei der Beurteilung des Rechtsstreits im zweiten Rechtsgang den bisherigen Sachverhalt zu unterstellen hat (BGE 135 III 334 E. 2 S. 335). Ohnehin geht aus der Vereinbarung nicht hervor, wie der Beschwerdeführer seinen Lebensunterhalt bestritten hat, da er sich darin zur hälftigen Tragung der Lebenshaltungskosten seines Sohnes und zu dessen ganztägigen Betreuung verpflichtet hat. Die Sachverhaltsdarstellung des Beschwerdeführers erscheint deshalb als wenig glaubwürdig und es gelingt ihm in dieser Hinsicht nicht, den Nachweis der offensichtlichen Unrichtigkeit der Ermessenseinschätzung zu erbringen.
5.4. Der Beschwerdeführer rügt zudem, dass der von ihm an seine Ehefrau mittels Kapitalzahlung geleistete Unterhalt bei der Steuerbemessung nicht in Abzug gebracht worden sei. Diese Frage war bereits im Urteil des Verwaltungsgerichts vom 20. August 2014 beurteilt worden. Das Bundesgericht ist in seinem Urteil 2C_971/2014, 2C_972/2014 vom 18. Juni 2015 in diesem Punkt auf die Beschwerde nicht eingetreten (E. 2.2 und Dispositiv Ziff. 1 Satz 1). Diesbezüglich ist somit das Urteil des Verwaltungsgerichts vom 20. August 2014 rechtskräftig geworden, so dass diese Frage nicht mehr thematisiert werden kann (res iudicata).
5.5. Aus dem Gesagten ergibt sich, dass die Ermessenseinschätzung zu Recht vorgenommen wurde und deren Höhe nicht zu beanstanden ist. Die Beschwerden betreffend die direkte Bundessteuer 2003 - 2005 sowie die Staats- und Gemeindesteuern 2003 - 2005 sind somit als unbegründet abzuweisen.
6.
Der unterliegende Beschwerdeführer trägt die Gerichtskosten (Art. 66 Abs. 1 BGG). Es sind keine Parteientschädigungen geschuldet (Art. 68 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Verfahren 2C_918/2015 und 2C_919/2015 werden vereinigt.
2.
Die Beschwerde betreffend die direkte Bundessteuer (2C_919/2015) wird abgewiesen.
3.
Die Beschwerde betreffend die Staats- und Gemeindesteuern (2C_918/2015) wird abgewiesen.
4.
Die Gerichtskosten von Fr. 5'500.-- werden dem Beschwerdeführer auferlegt.
5.
Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Zürich, 2. Abteilung, und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 20. Juli 2016
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Der Gerichtsschreiber: Mösching