Sachverhalt:
A.
A.C._ und B.C.-D._ (nachfolgend die Steuerpflichtigen bzw. Beschwerdeführer) reichten für die Veranlagungsperiode 2011 trotz Mahnung keine Steuererklärung ein. Mit Veranlagungsverfügungen vom 25. Januar 2013 schätzte das kantonale Steueramt das steuerbare Einkommen sowohl für die Staats- und Gemeindesteuern als auch die direkte Bundessteuer nach pflichtgemässem Ermessen mit Fr. 70'000.-- ein. Das für die Staats- und Gemeindesteuern steuerbare Vermögen legte es auf Fr. 300'000.-- fest. Gegen diesen Entscheid erhoben die Steuerpflichtigen am 27. Februar 2013 Einsprache. Diese war nicht unterschrieben, und das "Beiblatt A für Selbständigerwerbende ohne kaufmännische Buchführung" fehlte. In der Folge wies das Steueramt das Rechtsmittel am 3. Mai 2013 ab.
B.
Nunmehr anwaltlich vertreten, erhoben die Steuerpflichtigen am 4. Juni 2013 Rekurs und Beschwerde gegen den Einspracheentscheid; eine unterzeichnete Steuererklärung 2011 und das Beiblatt A legten sie bei. Nach Einholen diverser weiterer Unterlagen wies das Steuerrekursgericht Rekurs und Beschwerde am 6. November 2013 ab.
Am 16. April 2014 wies das Verwaltungsgericht des Kantons Zürich die von den Steuerpflichtigen gegen das Urteil des Steuerrekursgerichts erhobene Beschwerde hinsichtlich der Staats- und Gemeindesteuern und der direkten Bundessteuer in einem Einzelrichterentscheid ebenfalls ab.
C.
Gegen den Entscheid des Verwaltungsgerichts führen die Steuerpflichtigen Beschwerde in öffentlich-rechtlichen Angelegenheiten mit den Anträgen, das steuerbare Einkommen sei für die direkte Bundessteuer auf Fr. 22'200.-- zu veranlagen; für die Staats- und Gemeindesteuern sei das Einkommen auf Fr. 20'900.-- und das steuerbare Vermögen auf Fr. 289'000.-- festzusetzen. Eventualiter sei die Angelegenheit an die Vorinstanz oder an das Steuerrekursgericht zurückzuweisen.
Das kantonale Steueramt und das Verwaltungsgericht beantragen, die Beschwerde abzuweisen. Die Eidgenössische Steuerverwaltung schliesst auf Abweisung der Beschwerde, soweit darauf einzutreten sei.

Erwägungen:
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wurde unter Einhaltung der gesetzlichen Frist (<ref-law>) und Form (<ref-law>) eingereicht und richtet sich gegen einen Endentscheid (<ref-law>) einer letzten, oberen kantonalen Instanz (<ref-law>) in einer Angelegenheit des öffentlichen Rechts (<ref-law> i.V.m. Art. 73 ff. des Bundesgesetz vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden [StHG, SR 642.14] und Art. 146 des Bundesgesetzes vom 14. Dezember 1990 über die direkte Bundessteuer [DBG, SR 642.11]). Die Beschwerdeführer sind durch das angefochtene Urteil besonders berührt und haben ein schutzwürdiges Interesse an dessen Aufhebung oder Änderung (<ref-law>). Auf die Beschwerde ist einzutreten.
1.2. Mit der Beschwerde können Rechtsverletzungen nach Art. 95 und 96 BGG geltend gemacht werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es prüft die Anwendung des harmonisierten kantonalen Steuerrechts durch die kantonalen Instanzen gleich wie Bundesrecht mit freier Kognition. In den Bereichen, in denen das Steuerharmonisierungsgesetz den Kantonen einen gewissen Gestaltungsspielraum belässt oder keine Anwendung findet, beschränkt sich die Kognition des Bundesgerichts auf Willkür (<ref-ruling> E. 2 S. 210; <ref-ruling> E. 3.1 S. 205 f.; Urteil 2C_95/2013, 2C_96/2013 vom 21. August 2013 E. 1.6, in: StE 2013 B 22.2.28).
1.3. Der von der Vorinstanz festgestellte Sachverhalt ist für das Bundesgericht grundsätzlich verbindlich, soweit er nicht offensichtlich unrichtig festgestellt worden ist oder die Feststellung auf einer Rechtsverletzung im Sinne von <ref-law> beruht (Art. 97 Abs. 1, Art. 105 Abs. 1 und 2 BGG), was in der Beschwerde darzulegen ist (<ref-ruling> E. 1.4.3 S. 254 f.; <ref-ruling> E. 4.1.2 S. 62; <ref-ruling> E. 4.3 S. 62). Die Beschwerdeführenden machen nicht geltend, die Vorinstanz habe den rechtserheblichen Sachverhalt offensichtlich unrichtig festgestellt.
1.4. Die vorliegende Sache betrifft die direkte Bundessteuer sowie die Staats- und Gemeindesteuern. Die Vorinstanz hat die beiden Steuern in einem Urteil behandelt. Das Bundesgericht eröffnet grundsätzlich zwei Verfahren, wenn sowohl die kantonalen Steuern wie auch die direkte Bundessteuer streitig sind, es behält sich aber vor, die beiden Verfahren zu vereinigen. Das rechtfertigt sich auch hier (vgl. <ref-law> i.V.m. <ref-law>; <ref-ruling> E. 1.2 S. 465, 59 E. 1 S. 60 f.; Urteil 2C_309/2013 / 2C_310/2013 vom 18. September 2013 E. 1.2, in: StE 2013 B 72.14.2 Nr. 42).
I. Direkte Bundessteuer
2.
2.1. Die Vorinstanz hat erwogen, die Beschwerdeführer hätten ihre Verfahrenspflichten formell nachgeholt, indem sie im Verfahren vor dem Steuerrekursgericht eine vollständige Steuererklärung inklusive Hilfsblatt A eingereicht hätten. Die behördliche Untersuchungspflicht lebe allerdings erst dann wieder auf, wenn die vorgelegten Unterlagen tatsächlich geeignet seien, die Ungewissheit über die Steuerfaktoren zu beseitigen. Dies sei vorliegend trotz dem Einholen weiterer Unterlagen durch das Rekursgericht nicht der Fall gewesen. Es habe keine Klarheit hinsichtlich der tatsächlichen Vermögensverhältnisse der Beschwerdeführer bestanden. Da diese bereits im Jahr zuvor keine Steuererklärung eingereicht hätten, sei es auch nicht möglich gewesen, die Vermögensverhältnisse zuverlässig aus früheren Steuerunterlagen zu ermitteln. Aus diesem Grund und weil auch andere Belege nicht eingereicht worden seien, resultiere bei den Beschwerdeführern eine nicht erklärbare Finanzierungslücke im Verhältnis zwischen Lebenshaltungskosten und deklariertem Einkommen. Damit hätten diese den Beweis der Unrichtigkeit der Ermessenstaxation nicht erbracht und die Untersuchung habe nicht wieder aufgenommen werden müssen. Bei diesem Ergebnis könne das Verwaltungsgericht die Ermessenstaxation bloss auf Willkür hin überprüfen. Die Einschätzung durch das Steueramt erscheine indes als realistisch, zumal die getroffenen Annahmen bloss geringfügig höher lägen als diejenigen des Vorjahres. Damit sei die Beschwerde abzuweisen.
2.2. Die Beschwerdeführer behaupten nicht, dass die Voraussetzungen für eine Ermessenstaxation durch das kantonale Steueramt nicht gegeben gewesen seien. Mit ihrer Beschwerde in öffentlich-rechtlichen Angelegenheiten machen sie auch nicht mehr geltend, bereits im Einspracheverfahren den Nachweis der offensichtlichen Unrichtigkeit der Ermessensveranlagung erbracht zu haben. Sie sind aber der Auffassung, dies vor dem Steuerrekursgericht nachgeholt zu haben, weshalb die behördliche Untersuchungspflicht wieder aufgelebt sei. Das Verwaltungsgericht erachte den Unrichtigkeitsnachweis als gescheitert, weil die Entwicklung ihres Vermögens ungeklärt geblieben sei. Dieser Aspekt sei jedoch ebenso wenig Teil der Ermessensveranlagung gewesen wie ihre Lebenshaltungskosten. Wenn man - entgegen ihrer Auffassung - die Vermögensentwicklung im Rahmen des Unrichtigkeitsnachweises als massgeblichen Aspekt betrachten wollte, so sind die Beschwerdeführer ausserdem der Ansicht, dass sie hierzu ausführliche Erläuterungen abgegeben hätten.
Schliesslich machen die Beschwerdeführer geltend, das Steuerrekursgericht habe Bundesrecht (Art. 46 Abs. 2 StHG, <ref-law>) verletzt, indem es die Ermessensveranlagung ohne vorherige Mahnung getroffen habe.
3.
3.1. Hat der Steuerpflichtige trotz Mahnung seine Verfahrenspflichten nicht erfüllt oder können die Steuerfaktoren mangels zuverlässiger Unterlagen nicht einwandfrei ermittelt werden, so nimmt die Veranlagungsbehörde die Veranlagung nach pflichtgemässem Ermessen vor (<ref-law>, Art. 46 Abs. 3 StHG). Die Steuerpflichtigen können eine Ermessensveranlagung nur wegen offensichtlicher Unrichtigkeit anfechten. Die Einsprache ist zu begründen und muss allfällige Beweismittel nennen (<ref-law>, Art. 48 Abs. 2 StHG). Die Erfordernisse der Begründung und der Nennung der Beweismittel stellen bei Einsprachen, die gegen eine Ermessenseinschätzung erhoben werden, Prozessvoraussetzungen dar (<ref-ruling> E. 2.3 S. 551; <ref-ruling> E. 4c S. 557 f.; Urteil 2C_1205/2012, 2C_1206/2012 vom 25. April 2013 E. 3.1).
Der Nachweis der offensichtlichen Unrichtigkeit ist nach der bundesgerichtlichen Rechtsprechung umfassend zu führen und kann nicht nur einzelne Positionen der Ermessensveranlagung betreffen. Vielmehr hat der Steuerpflichtige, der seine Mitwirkungspflichten im Veranlagungsverfahren nicht erfüllt und dadurch eine Ermessensveranlagung bewirkt hat, in der Regel die versäumte Mitwirkungshandlung (Steuererklärung bzw. fehlende Belege) umfassend nachzuholen, um die Einsprache genügend zu begründen. Der Nachweis der Unrichtigkeit ist umfassend, wenn er den gesamten von der Ermessenstaxation betroffenen Teil des Entscheids beinhaltet (Urteile 2C_1205/2012, 2C_1206/2012 vom 25. April 2013 E. 3.2; 2A.39/2004 vom 29. März 2005 E. 5.1, ASA 75 S. 329 ff., 333; Richner/Frei/Kaufmann/Meuter, Handkommentar zum DBG, 2. Aufl. 2009, Art. 132 Rz. 63). Die Steuerbehörde ist in den Stand zu versetzen, dass sie aufgrund der Begründung und der eingereichten und ohne nachzufordernde zusätzliche Unterlagen ohne Weiteres feststellen kann, dass die Ermessensveranlagung offensichtlich unrichtig ist (vgl. Urteil 2A.39/2004 vom 29. März 2005 E. 5.1 und 5.2, ASA 75 S. 329 ff., 333 f.).
3.2. Das Rekursgericht hat die Auffassung vertreten, die amtliche Untersuchungspflicht sei wieder aufgelebt, nachdem die Beschwerdeführenden eine vollständige Steuererklärung und das Hilfsblatt A eingereicht hätten. Allerdings erachtete dieses Gericht die Ermessenstaxation dennoch als berechtigt, weil der Nachweis der Unrichtigkeit der Einschätzung nicht erbracht sei. Mit den deklarierten Einkünften könnten die Lebenshaltungskosten einer vierköpfigen Familie kaum bestritten werden, so dass sich die Vermutung aufdränge, dieses Manko sei mit andern Finanzmitteln gedeckt worden. Da die Beschwerdeführenden aber im Jahr 2010 keine Steuererklärung eingereicht und auch auf gerichtliche Aufforderung hin keine Angaben zur Vermögenssituation beigebracht hätten, sei der massgebliche Sachverhalt ungeklärt geblieben.
In Übereinstimmung mit der bundesgerichtlichen Rechtsprechung hielt die Vorinstanz demgegenüber fest, die amtliche Untersuchungspflicht lebe erst wieder auf, wenn die eingereichten Unterlagen und angebotenen Beweise auch tatsächlich geeignet seien, die bestehende Ungewissheit über die Steuerfaktoren zu beseitigen, die versäumten Verfahrenspflichten mithin auch materiell nachgeholt würden. In der Sache ging die Vorinstanz aber mit dem Rekursgericht einig: Bei den von den Beschwerdeführenden deklarierten Lebenshaltungskosten von Fr. 74'600.-- und Einkünften von Fr. 52'700.-- resultiere eine Finanzierungslücke von mehr als Fr. 21'000.--, was sich aufgrund der angegebenen Vermögensentwicklung nicht nachvollziehen lasse. Damit bleibe offen, ob den Beschwerdeführenden nicht weitere Einkommensquellen zur Verfügung gestanden hätten, und der Nachweis der Unrichtigkeit der Ermessenstaxation sei gescheitert.
In der Folge überprüfte die Vorinstanz die Veranlagung der Beschwerdeführenden unter dem Gesichtswinkel des Willkürverbots bloss daraufhin, ob sich die Veranlagung als geradezu unmöglich und sachlich nicht begründbar erweise, und gelangte zum Ergebnis, eine willkürliche Veranlagung liege nicht vor.
3.3. Zunächst ist festzuhalten, dass einzig das Urteil des Verwaltungsgerichts vom 16. April 2014 Anfechtungsobjekt des bundesgerichtlichen Verfahren bildet; der Entscheid des Rekursgerichts ist durch das Urteil des Verwaltungsgerichts ersetzt worden (Devolutiveffekt). Ausserdem war das Verwaltungsgericht ohne weiteres zur (teilweisen) Motivsubstitution befugt (vgl. <ref-ruling> E. 4.2 S. 87). Es ist somit ohne Belang, wenn die untere Instanz die Voraussetzungen für ein Wiederaufleben der amtlichen Untersuchungspflicht anders umschrieben hat als das Verwaltungsgericht im hier angefochtenen und allein interessierenden Urteil, zumal im Ergebnis beide Gerichte übereinstimmend zum Schluss gelangt sind, die Beschwerdeführenden hätten ihrer erhöhten Mitwirkungspflicht bei der Bestreitung der Ermessensveranlagung nicht genügt, und ihr Rechtsmittel als unbegründet erachteten.
3.4. Die Beschwerdeführenden sind der Auffassung, die Vermögensentwicklung und die damit zusammenhängenden Fragen rund um ihre Lebenshaltungskosten könnten nicht "Gegenstand des Unrichtigkeitsnachweises" sein, da ihnen das Steueramt diesbezüglich keine Verletzung von Verfahrenspflichten vorgeworfen habe. Dieser Einwand geht fehl. Es trifft zwar zu, dass es bei den behördlichen Abklärungen in erster Linie darum ging, die Höhe des Einkommens des Beschwerdeführers, der als Netzwerktechniker selbständig erwerbstätig ist, zu ermitteln. Nachdem aber der Unrichtigkeitsbeweis nach dem Gesagten nicht geleistet worden war und es nach dem Prüfungsprogramm der Vorinstanz nur noch darum ging, ob die Ermessenstaxation im Ergebnis vor dem Willkürverbot standhalte, waren auch die Vermögensverhältnisse mit einzubeziehen. Denn die Beschwerdeführer hatten in ihrer Steuererklärung derart geringe Einkünfte ausgewiesen, dass Zweifel daran bestanden, ob sie ihren Lebensunterhalt tatsächlich alleine mit diesen Mitteln bestreiten konnten, so dass sich die Frage nach den tatsächlichen Aufwendungen zur Bestreitung des Lebensunterhalts aufdrängte. Es geht mit anderen Worten um die Frage nach den Quellen, aus denen die Differenz zwischen den ausgewiesenen Einkünften aus Arbeit und den mutmasslichen Lebenshaltungskosten gedeckt wurde. Da hierfür neben nicht deklariertem Einkommen auch Vermögensverzehr in Betracht fiel, war die Frage der Entwicklung des Vermögens der Beschwerdeführer ohne weiteres auch Verfahrensgegenstand.
3.5. Wenn somit die Vorinstanz den Unrichtigkeitsbeweis nicht als erbracht erachtete und auch die Veranlagung nach pflichtgemässem Ermessen im Ergebnis nicht als willkürlich taxierte, hat sie Bundesrecht nicht verletzt. Die Beschwerde ist unbegründet und muss abgewiesen werden.
II. Staats- und Gemeindesteuern
4.
Art. 46 Abs. 3 StHG über die Voraussetzungen der Ermessensveranlagung stimmt weitestgehend mit <ref-law> überein. Dasselbe gilt in Bezug auf die Anforderungen an die Einsprache gegen Veranlagungsverfügungen (Art. 48 Abs. 1 StHG, <ref-law>) sowie die Anfechtung einer Ermessensveranlagung (Art. 48 Abs. 2 StHG, <ref-law>). Damit kann vollumfänglich auf das zur direkten Bundessteuer Gesagte verwiesen werden (<ref-ruling> E. 9 S. 207 f.). Die Beschwerde ist auch in Bezug auf die kantonalen Steuern abzuweisen.
5.
Bei diesem Verfahrensausgang haben die Beschwerdeführenden die Kosten des bundesgerichtlichen Verfahrens zu tragen; sie haften hierfür solidarisch (Art. 66 Abs. 1 und 5 BGG). Es sind keine Parteientschädigungen geschuldet (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Verfahren 2C_568/2014 und 2C_569/2014 werden vereinigt.
2.
Die Beschwerde betreffend die direkte Bundessteuer (2C_569/2014) wird abgewiesen.
3.
Die Beschwerde betreffend die Staatssteuer (2C_568/2014) wird abgewiesen.
4.
Die Gerichtskosten von Fr. 2'000.-- werden den Beschwerdeführenden unter solidarischer Haftung auferlegt.
5.
Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Zürich, 2. Abteilung, Einzelrichterin, und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 9. Januar 2015
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Wyssmann