Sachverhalt: A. A.a. Am 17. April 2013 richtete die Steuerbehörde der Vereinigten Staaten von Amerika (Internal Revenue Service [IRS]) ein Amtshilfegesuch an die Eidgenössische Steuerverwaltung (ESTV). Das Gesuch betrifft US-Steuerzahler, die Domizilgesellschaften gründeten, welche gewisse, im Gesuch näher bezeichnete Konten bei der Julius Bär Gruppe, ihren Niederlassungen und Tochtergesellschaften (nachfolgend: Julius Bär) hielten. Am 30. April 2013 forderte die ESTV die Julius Bär schriftlich auf, die vom IRS verlangten Unterlagen jeweils samt einer unterzeichneten "Certification of Business Records" einzureichen. Zugleich ersuchte die ESTV die Julius Bär, die betroffenen Personen aufzufordern, in der Schweiz eine zur Zustellung bevollmächtigte Person zu bezeichnen. Am 2. Juli 2013 erschien im Bundesblatt eine Mitteilung der ESTV über das Amtshilfeverfahren (BBl 2013 4850 ff.). Darin informierte die ESTV über das Amtshilfegesuch. Sie wies auf die Möglichkeit einer vereinfachten Ausführung des Verfahrens hin. Ausserdem erklärte sie, dass sie die Schlussverfügung einem von ihr bezeichneten, in der Publikation genannten Zustellungsbevollmächtigten - Zaehringen Anwälte in Bern - zustelle, wenn eine betroffene Person innert der Frist von 20 Tagen keinen solchen bezeichnet haben sollte. Im Weiteren führte sie die vom IRS im Amtshilfegesuch genannten Auswahlkriterien auf. A.b. In ihrer am 23. August 2013 erlassenen Schlussverfügung gelangte die ESTV zum Ergebnis, A._ sei an der B._ wirtschaftlich berechtigt und in seinem Fall seien sämtliche Voraussetzungen erfüllt, um dem IRS Amtshilfe zu leisten und die Unterlagen zu edieren. Da weder A._ noch die B._ innert der in der Publikation im Bundesblatt angegebenen Frist einen Zustellungsbevollmächtigten bezeichnet hatten, stellte die ESTV die Schlussverfügung vom 23. August 2013 gleichentags den von ihr bezeichneten Zustellungsbevollmächtigten zu. Ebenfalls am gleichen Tag sandten die Zustellungsbevollmächtigten die Schlussverfügung an den Wohnsitz von A._, wo sie am 2. September 2013 einging. B. Mit Eingabe vom 1. Oktober 2013 liessen A._ und die B._ gegen die genannte Schlussverfügung der ESTV beim Bundesverwaltungsgericht Beschwerde erheben. Mit Urteil vom 6. Januar 2014 trat das Bundesverwaltungsgericht auf die Beschwerde infolge Fristversäumnisses nicht ein. C. Vor Bundesgericht beantragen A._ und die B._, das angefochtene Urteil vom 6. Januar 2014 aufzuheben, die Schlussverfügung der ESTV vom 23. August 2013 nichtig zu erklären und die Sache zur Durchführung eines erstinstanzlichen Verfahrens an die ESTV zurückzuweisen. Eventuell sei die Amtshilfe an den IRS und das Department of Justice der Vereinigten Staaten von Amerika zu verweigern und zudem die mit der Schlussverfügung zusammen anfechtbare Zwischenverfügung vom 30. April 2013 (Editionsverfügung) in Bezug auf die Beschwerdeführer aufzuheben (bzw. nichtig zu erklären). Die ESTV beantragt Nichteintreten, eventuell die Abweisung der Beschwerde. Das Bundesverwaltungsgericht verzichtet auf eine Vernehmlassung. D. Mit Eingabe vom 7. Februar 2014 ersuchen die Vertreter der Beschwerdeführer um die Anonymisierung ihrer Namen bei der Veröffentlichung des Entscheids. Die Identität der Anwälte sei nicht ohne vorherige Rücksprache offenzulegen. E. Am 11. Februar 2014 hat der Abteilungspräsident der Beschwerde aufschiebende Wirkung zuerkannt.