Sachverhalt: A. X._ betreibt als Inhaber eines Zweirad-Fachgeschäfts Handel mit neuen und gebrauchten Motorrädern, Mofas und Fahrrädern. Er ist seit dem 1. Januar 1995 im Register der Mehrwertsteuerpflichtigen bei der Eidgenössischen Steuerverwaltung (ESTV) eingetragen. B. Im Februar und April 2006 führte die ESTV eine Kontrolle durch. Gestützt darauf machte sie vom 1. Quartal 2001 bis zum 4. Quartal 2005 eine Steuernachforderung in der Höhe von Fr. 71'351.-- zuzüglich Verzugszins geltend. Zur Begründung brachte sie im Wesentlichen vor, der Steuerpflichtige habe im Rahmen von Ankäufen von gebrauchten Fahrzeugen die Vorsteuer zu Unrecht geltend gemacht und beim Verkauf auf seinen Rechnungen die Steuer - ohne Hinweis auf die Margenbesteuerung - offen ausgewiesen. Mit Einspracheentscheid vom 21. April 2008 hielt die ESTV an ihrer Auffassung fest. Die dagegen erhobene Beschwerde wies das Bundesverwaltungsgericht mit Urteil vom 27. April 2010 ab. C. Gegen das Urteil des Bundesverwaltungsgerichts erhebt X._ mit Eingabe vom 30. Mai 2010 Beschwerde an das Bundesgericht. Er beantragt, der Einspracheentscheid der ESTV vom 21. April 2008 und das Urteil des Bundesverwaltungsgerichts vom 27. April 2010 seien aufzuheben. Das Bundesverwaltungsgericht verzichtet auf eine Stellungnahme und die ESTV schliesst auf Abweisung der Beschwerde. Mit Schreiben vom 22. Oktober 2010 repliziert der Beschwerdeführer auf die Stellungnahme der ESTV.