Sachverhalt:
A.
Die Eidgenössische Steuerverwaltung ESTV, Abteilung Strafsachen und Untersuchungen ASU, führte gegen A._ eine besondere Steueruntersuchung gemäss <ref-law> (SR 642.11) durch, welche sie mit Bericht vom 18. Februar 2011 abschloss. Gestützt auf die Untersuchungsergebnisse auferlegte die Steuerverwaltung des Kantons Obwalden (nachfolgend: Steuerverwaltung) A._ mit Verfügung vom 26. Mai 2011 hinsichtlich der direkten Bundessteuer eine Nachsteuer von Fr. 374'662.- zuzüglich Verzugszins. Gleichzeitig auferlegte sie ihm bezüglich der direkten Bundessteuer wegen vollendeter Steuerhinterziehung in den Steuerjahren 1999/2001-2004 eine Busse von Fr. 564'002.- (entsprechend 150% der hinterzogenen Bundessteuer).
B.
Gegen diese Verfügung erhob A._ am 10. Juni 2011 Einsprache. Mit Einspracheentscheid vom 10. Januar 2014 reduzierte die Steuerverwaltung betreffend die direkte Bundessteuer die Nachsteuern auf Fr. 151'249.- und die Busse auf Fr. 50'416.-.
Die ESTV erhob am 7. Februar 2014 bei der Steuerrekurskommission des Kantons Obwalden Beschwerde gegen den Einspracheentscheid. Die Steuerrekurskommission hiess die Beschwerde mit Entscheid vom 25. Juni 2015 (Versand: 28. Juli 2016) teilweise gut und setzte die Busse neu auf Fr. 168'667.- fest.
A._ erhob gegen den Entscheid der Steuerrekurskommission mit Eingabe vom 13. September 2016 (Poststempel: 14. September 2016) Beschwerde ans Verwaltungsgericht des Kantons Obwalden. Dieses trat mit Entscheid vom 3. November 2016 auf die Beschwerde nicht ein.
C.
Mit Eingabe vom 5. Dezember 2016 erhebt A._ beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten. Er beantragt, der Entscheid des Verwaltungsgerichts vom 3. November 2016 sei aufzuheben und die Sache zur neuen Beurteilung an die Vorinstanz zurückzuweisen. Eventualiter sei festzustellen, dass die Frist zur Einreichung der Beschwerde an das Verwaltungsgericht gewahrt worden sei, und die Sache sei zur materiellen Beurteilung an die Vorinstanz zurückzuweisen.
Das Verwaltungsgericht hat am 14. Dezember 2016 zur Beschwerde Stellung genommen und geschlossen, diese sei abzuweisen, soweit darauf einzutreten sei. Die Steuerverwaltung des Kantons Obwalden verzichtet auf Vernehmlassung. Die ESTV beantragt in ihrer Stellungnahme vom 24. Januar 2017 die Abweisung der Beschwerde.
Der Beschwerdeführer hält mit Schreiben vom 14. Februar 2017 an seinen Anträgen fest.

Erwägungen:
1.
1.1. Die Beschwerde richtet sich gegen den verfahrensabschliessenden Entscheid einer letzten kantonalen Instanz in einer Angelegenheit des öffentlichen Rechts. Die Voraussetzungen der Beschwerde in öffentlich-rechtlichen Angelegenheiten liegen vor (Art. 82 lit. a, Art. 83 [e contrario], Art. 86 Abs. 1 lit. d und Abs. 2, Art. 89 Abs. 1 und Art. 90 BGG).
1.2. Das Verwaltungsgericht ist auf die bei ihm erhobene Beschwerde nicht eingetreten und hat sich in der Sache nicht geäussert. Streitgegenstand bildet daher einzig die Frage, ob zu Recht ein Nichteintretensentscheid gefällt worden ist.
1.3. Feststellungsbegehren sind subsidiär zu Leistungsbegehren und nur zulässig, wenn daran ein schutzwürdiges Feststellungsinteresse besteht. Zudem kann ein Feststellungsantrag nicht abstrakte, theoretische Rechtsfragen zum Gegenstand haben, sondern nur konkrete Rechte oder Pflichten (<ref-ruling> E. 6.5 S. 218; <ref-ruling> E. 2c S. 303). Vorliegend umfasst der Antrag auf Aufhebung des Nichteintretensentscheides und Rückweisung der Sache an die Vorinstanz auch das Eintreten des Verwaltungsgerichts auf die dort erhobene Beschwerde. Das Feststellungsbegehren bezüglich der Fristwahrung hat damit keine selbständige Bedeutung und erweist sich als überflüssig.
2.
Der Beschwerdeführer rügt eine Verletzung des rechtlichen Gehörs (<ref-law>). Das Verwaltungsgericht habe ihm die Stellungnahme der ESTV vom 10. Oktober 2016lediglich zur Kenntnis zugestellt, ohne ihm eine Frist zur Einreichung einer Replik anzusetzen. Auf telefonische Nachfrage von B._ - eines Rechtsanwalts und Steuerexperten - habe der zuständige Gerichtspräsident mitgeteilt, eine allfällige Replik würde nicht mehr zu den Akten genommen. Damit sei ihm das Replikrecht verweigert worden.
2.1. Die Parteien eines Gerichtsverfahrens haben das Recht, von allen bei Gericht eingereichten Stellungnahmen Kenntnis zu erhalten und sich dazu zu äussern. Dies gilt unabhängig davon, ob die Eingaben neue und/oder wesentliche Vorbringen enthalten, auch wenn die Eingabe lediglich zur Kenntnisnahme oder zur Orientierung zugestellt worden ist. Dabei wird erwartet, dass eine Partei, die eine Eingabe ohne Fristansetzung erhält und dazu Stellung nehmen will, dies umgehend tut oder zumindest beantragt; ansonsten wird angenommen, sie habe auf eine weitere Eingabe verzichtet (<ref-ruling> E. 2.1 f.). Es besteht kein Anspruch darauf, formell zur Stellungnahme eingeladen zu werden (Urteil 2C_978/2012 vom 4. Mai 2013 E. 4.3.1, nicht publ. in: <ref-ruling>).
2.2. Entsprechend ist eine Verletzung des rechtlichen Gehörs nicht bereits darin zu sehen, dass das Verwaltungsgericht dem Beschwerdeführer die Stellungnahme der ESTV zustellte, ohne eine Replikfrist anzusetzen.
Der Inhalt des Telefongesprächs zwischen dem zuständigen Gerichtspräsidenten und Rechtsanwalt B._, in welchem es um eine mögliche Replik ging, ist umstritten. Der Beschwerdeführer macht geltend, der Gerichtspräsident habe mitgeteilt, eine Replik würde nicht zu den Akten genommen. Dasselbe hat Rechtsanwalt B._ in der beim Bundesgericht eingereichten Telefonnotiz vom 21. Oktober 2016 festgehalten. Der Gerichtspräsident führt dagegen in seiner Stellungnahme vom 14. Dezember 2016 aus, er habe nie gesagt, eine Replik würde nicht entgegengenommen, sondern darauf hingewiesen, dass es jederzeit gestattet sei, eine Stellungnahme einzureichen. Der Rechtsanwalt habe lediglich gefragt, ob der Beschwerdeführer noch etwas einreichen solle.
Die vom Beschwerdeführer behauptete Aussage des zuständigen Gerichtspräsidenten wäre zweifellos bedenklich und grundsätzlich geeignet, eine Partei von der Wahrnehmung ihres Replikrechts abzuhalten. Vorliegend bestehen jedoch keine ausreichenden Hinweise darauf, dass eine solche Aussage tatsächlich erfolgt wäre. So macht der Beschwerdeführer nicht geltend, der Rechtsanwalt habe die Einreichung einer Stellungnahme angekündigt oder um Anordnung von Replik und Duplik gemäss Art. 10 Abs. 2 der Verordnung über das Verwaltungsgerichtsverfahren des Kantons Obwalden vom 9. März 1973 (VGV/OW; GDB 134.14) ersucht. Vielmehr habe dieser lediglich gefragt, ob eine Replikfrist angesetzt werde oder er von sich aus eine Replik einreichen solle. Von einem Rechtsanwalt ist zu erwarten, er wisse über die jederzeitige Möglichkeit der Einreichung einer Stellungnahme Bescheid. Es ist daher schwer nachvollziehbar, was er mit dem Anruf beim Verwaltungsgericht bezweckte, musste er doch auch wissen, dass er allfällige Bemerkungen nicht telefonisch anbringen konnte, sondern in einer schriftlichen Eingabe an das Gericht darzulegen hätte. Zudem scheint der Wahrheitsgehalt der eingereichten Telefonnotiz vom 21. Oktober 2016 zweifelhaft: Da der Rechtsanwalt den Beschwerdeführer bezüglich des Fristenlaufs beraten hat, ist ein gewisses persönliches Interesse an seiner Darstellung der Sachlage nicht von der Hand zu weisen. Der Beweiswert der eingereichten Telefonnotizen ist daher gering. Der Beschwerdeführer erteilte dem Rechtsanwalt offenbar keine schriftliche Vollmacht zur Vertretung in der vorliegenden Sache, sodass sich dieser als unbeteiligter Dritter an das Verwaltungsgericht wandte. Das rechtliche Fachwissen ist dem Beschwerdeführer aber dennoch insofern anzurechnen, als davon auszugehen ist, Rechtsanwalt B._ habe die Frage einer Replik mit ihm erörtert. Er kann sich nicht darauf berufen, als juristischer Laie nicht von seinem Replikrecht gewusst zu haben. Es gelingt ihm nach dem Gesagten nicht, glaubhaft darzulegen, dass ihm das Replikrecht verweigert und er an der Einreichung einer Stellungnahme gehindert worden wäre.
3.
Der Beschwerdeführer ging davon aus, die kantonalen Gerichtsferien würden für den Fristenlauf im Verfahren betreffend die direkte Bundessteuer auch gelten, und reichte gegen den am 29. Juli 2016 eröffneten Entscheid der Steuerrekurskommission am 14. September 2016 (Poststempel) Beschwerde ein. Er beruft sich darauf, der zuständige Gerichtspräsident des Verwaltungsgerichts habe gegenüber Rechtsanwalt B._ telefonisch bestätigt, die kantonalen Gerichtsferien würden im vorliegenden Verfahren gelten. Als juristischer Laie habe er sich auf diese behördliche Auskunft verlassen dürfen.
3.1. Für das Verfahren vor dem kantonalen Verwaltungsgericht betreffend die direkte Bundessteuer gelten die Vorschriften des erstinstanzlichen Beschwerdeverfahrens sinngemäss (Art. 145 Abs. 2 i.V.m. Art. 140-144 DBG). Die Beschwerdefrist beträgt 30 Tage (<ref-law>). <ref-law> verweist für den Fristenlauf ergänzend auf den für das Einspracheverfahren geltenden <ref-law>. Nach ständiger Praxis des Bundesgerichts regelt diese Bestimmung den Fristenlauf abschliessend. Ein Fristenstillstand während Gerichtsferien ist nicht vorgesehen. Gerichtsferien, die das kantonale Verfahrensrecht vorsieht, haben demzufolge im Bereich der direkten Bundessteuer keine Geltung (vgl. Urteile 2C_89/2015 vom 23. Oktober 2015 E. 6.3; 2C_628/2010 vom 28. Juni 2011 E. 3.3, nicht publ. in: <ref-ruling>; 2C_503/2010 vom 11. November 2010 E. 2.3, in: StE 2011 B 92.8 Nr. 16; je mit Hinweisen). Die Beschwerdeerhebung an das Verwaltungsgericht erfolgte 47 Tage nach Eröffnung des Entscheids der Steuerrekurskommission; die gesetzliche Frist von 30 Tagen wurde nicht eingehalten.
3.2. Es stellt sich nachfolgend die Frage, ob sich der Beschwerdeführer in guten Treuen auf eine (unrichtige) behördliche Information berufen kann. Nach dem in <ref-law> verankerten Grundsatz von Treu und Glauben kann eine Auskunft, welche eine Behörde dem Bürger erteilt, unter gewissen Umständen Rechtswirkungen entfalten, selbst wenn sie unrichtig ist. Voraussetzung dafür ist, (a) dass sich die Auskunft der Behörde auf eine konkrete, den Rechtsuchenden berührende Angelegenheit bezieht; (b) dass die Behörde, welche die Auskunft gegeben hat, hiefür zuständig war oder der Rechtsuchende sie aus zureichenden Gründen als zuständig betrachten durfte; (c) dass der Rechtsuchende die Unrichtigkeit der Auskunft nicht ohne Weiteres hat erkennen können; (d) dass er im Vertrauen hierauf nicht ohne Nachteil rückgängig zu machende Dispositionen getroffen hat; und (e) dass die Rechtslage zur Zeit der Verwirklichung noch die gleiche ist wie im Zeitpunkt der Auskunftserteilung (vgl. <ref-ruling> E. 3.1 S. 164 f.; <ref-ruling> E. 6.2 S. 538; <ref-ruling> E. 3.6.2 S. 193).
3.2.1. Am 11. August 2016 fand zwischen dem zuständigen Gerichtspräsidenten des Verwaltungsgerichts und Rechtsanwalt B._ ein Telefongespräch statt, wobei offenbar die Frage des Fristenstillstands im kantonalen Verwaltungsgerichtsverfahren bezüglich der direkten Bundessteuer zur Sprache kam. Der Beschwerdeführer bringt vor, der zuständige Gerichtspräsident habe gegenüber Rechtsanwalt B._ versichert, die Beschwerdefrist stehe während der Gerichtsferien still, und er könne sich auf diese behördliche Auskunft verlassen, auch wenn wider Erwarten keine Gerichtsferien gelten sollten. Er stützt sich dabei auf eine Telefonnotiz von Rechtsanwalt B._ vom 11. August 2016. Der zuständige Gerichtspräsident bestreitet diese Aussagen. Er habe weder angegeben, die Gerichtsferien würden im Verfahren der direkten Bundessteuer gelten, noch zugesichert, dass diese Auskunft bindend sei. Ausserdem hätten sie nicht über eine konkrete Streitsache gesprochen, sondern die Frage lediglich abstrakt erörtert.
3.2.2. Tatsächlich scheint es unwahrscheinlich, dass ein kantonaler Verwaltungsrichter sich telefonisch gegenüber einem unbeteiligten Dritten zu einem konkreten Fall äussern, eine vorbehaltlose (aber falsche) Auskunft erteilen und diese auch noch als bindend erklären würde. Es ist zu bezweifeln, dass der zuständige Gerichtspräsident tatsächlich in der dargelegten Weise die fragliche Auskunft erteilt hat. Die eingereichte Telefonnotiz hat keinen erheblichen Beweiswert (vgl. E. 2.2 hiervor) und vermag die bestehenden Zweifel nicht aufzulösen.
Vorliegend braucht nicht abschliessend über die behaupteten Aussagen des zuständigen Gerichtspräsidenten befunden zu werden. Die angebliche Auskunft erfolgte nämlich nicht an den Beschwerdeführer als juristischen Laien, sondern an einen Rechtsanwalt und Steuerexperten. Dieser hätte wissen müssen oder zumindest nach Konsultation der bundesgerichtlichen Rechtsprechung ohne Weiteres feststellen können, dass der Fristenstillstand im Bereich der direkten Bundessteuer nicht gilt. Er hätte die Unrichtigkeit der Auskunft erkennen müssen und kann sich deshalb nicht in guten Treuen darauf berufen. Der Beschwerdeführer, der sich als juristischer Laie bezeichnet, beruft sich seinerseits nicht auf eine Auskunft des Gerichtspräsidenten, sondern auf die Aussagen des Rechtsanwalts. Von diesem durfte er erwarten, ihn kompetent über die Rechtslage aufzuklären. Dessen Fehleinschätzung zum Fristenstillstand ist nicht dem Gericht anzurechnen. Der Beschwerdeführer kann sich somit nicht auf das Vertrauen in eine behördliche Auskunft berufen.
3.2.3. Nach dem Gesagten ist die Vorinstanz zu Recht auf die verspätete Beschwerde nicht eingetreten.
4.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist aus diesen Gründen abzuweisen. Bei diesem Verfahrensausgang sind die Kosten des bundesgerichtlichen Verfahrens dem Beschwerdeführer aufzuerlegen (Art. 65 i.V.m. <ref-law>). Eine Parteientschädigung ist nicht auszurichten (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 2'500.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Verfahrensbeteiligten und dem Verwaltungsgericht des Kantons Obwalden schriftlich mitgeteilt.
Lausanne, 5. April 2017
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Die Gerichtsschreiberin: Straub