Sachverhalt: A. A.a. Die in U._/SZ wohnhaften Eheleute A.A._ und B.A._ deklarierten in ihrer elektronisch ausgefüllten Steuererklärung für die Steuerperiode 2012 neben anderen Erträgen aus unbeweglichem Vermögen erhaltene Baurechtszinsen von Fr. 58'500.--, wobei sie auf dem Barcodeblatt handschriftlich beifügten: "Anmerkung: Abzug Bundessteuer 1/3 Baurechtszins". A.b. Mit der Veranlagungsverfügung vom 18. Februar 2014 für die kantonalen Steuern und die direkte Bundessteuer wurden die Eheleute A._ bei den kantonalen Steuern zu einem satzbestimmenden/steuerbaren Einkommen von Fr. 192'400.--/Fr. 102'100.-- und bei der direkten Bundessteuer zu einem satzbestimmenden/steuerbaren Einkommen von Fr. 148'200.--/Fr. 146'500.-- veranlagt. A.c. In der Steuererklärung 2013 deklarierten die Eheleute A._ wiederum erhaltene Baurechtszinsen von Fr. 58'500.--, erneut mit der gleichen handschriftlichen Bemerkung auf dem Barcodeblatt. Nach Erhalt der Veranlagungsverfügung erkundigte sich A.A._ per Mail, ob die handschriftliche Bemerkung bei der Veranlagung berücksichtigt worden sei. In seiner Mailantwort teilte der Einschätzer mit, dass bei der direkten Bundessteuer kein entsprechender Abzug (1/3 von Fr. 58'500.-- = Fr. 19'500.--) vorgenommen worden sei. Ausserdem führte er aus, bei der Veranlagung der direkten Bundessteuer 2012 seien versehentlich die Baurechtszinsen nicht berücksichtigt worden. Deshalb sei die Veranlagungsverfügung vom 18. Februar 2014 zu korrigieren und das satzbestimmende/steuerbare Einkommen bei der direkten Bundessteuer 2012 um Fr. 58'500.-- zu erhöhen. Mit (berichtigter) Veranlagungsverfügung für die direkte Bundessteuer 2012 vom 31. März 2015 wurden satzbestimmendes/steuerbares Einkommen 2012 gegenüber der ursprünglichen Verfügung um je Fr. 58'500.-- erhöht. B. B.a. Die Einsprache der Eheleute A._ gegen diese Veranlagungsverfügung wies die kantonale Verwaltung für die direkte Bundessteuer am 10. April 2018 ab. Mit Bezug auf die Fehlerursache wurde im Einspracheentscheid festgestellt, dass diese entgegen der Annahme des Einschätzers nicht in einem Programmierungsfehler liege, sondern auf eine versehentlich unvollständige Erfassung der Liegenschaftserträge (die sich bei den kantonalen Steuern nicht ausgewirkt habe) zurückzuführen sei. B.b. Eine Beschwerde der Eheleute A._ gegen den Einspracheentscheid wies das Verwaltungsgericht des Kantons Schwyz, Kammer II, am 12. Februar 2019 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 4. April 2019 beantragen die Eheleute A._, der angefochtene Entscheid sei aufzuheben. Das Verwaltungsgericht des Kantons Schwyz, II. Kammer, hat unter Verweis auf seine Erwägungen im angefochtenen Entscheid auf eine Vernehmlassung verzichtet. Die Verwaltung für die direkte Bundessteuer des Kantons Schwyz und die eidgenössische Steuerverwaltung schliessen auf Abweisung der Beschwerde.