Sachverhalt:
A. X._ wird vorgeworfen, zusammen mit A._ und B._ zwischen April und Oktober 1999 bei Finanzdienstleistern in London und New York mit gefälschten Bankauszügen, gefälschten sogenannten Certificates of Deposit und weiteren gefälschten Dokumenten Vermögenswerte von insgesamt USD 17 Mio. vorgetäuscht zu haben. Ziel war es, durch diese Vermögensnachweise in ein hochrentables Tradingprogramm einzusteigen und Vorschusszahlungen von USD 2 Mio. zu erhalten.
B. Das Bezirksgericht Appenzell sprach X._ am 9. Februar 2010 der mehrfachen Urkundenfälschung und des versuchten Betrugs schuldig. Es verurteilte ihn zu einer Freiheitsstrafe von 24 Monaten unter Anrechnung von neun Tagen Untersuchungshaft. Den Vollzug der Strafe schob es auf und setzte die Probezeit auf drei Jahre fest.
Die von X._ gegen dieses Urteil erhobene Berufung hiess das Kantonsgericht Appenzell Innerrhoden am 15. Dezember 2010 teilweise gut. Es verurteilte ihn wegen mehrfacher Urkundenfälschung. Vom Vorwurf des versuchten Betrugs sprach es ihn frei. Es verurteilte ihn zu einer Geldstrafe von 45 Tagessätzen zu Fr. 280.-- unter Anrechnung von neun Tagen Untersuchungshaft. Den Vollzug der Geldstrafe schob es auf und setzte die Probezeit auf zwei Jahre fest.
C. X._ erhebt Beschwerde in Strafsachen und subsidiäre Verfassungsbeschwerde beim Bundesgericht. Er beantragt, das Urteil des Kantonsgerichts Appenzell Innerrhoden vom 15. Dezember 2010 sei aufzuheben, soweit er schuldig gesprochen worden sei. Die Kosten aller Instanzen seien dem Staat aufzuerlegen. Ihm sei für das vorinstanzliche Verfahren zudem eine Entschädigung für die Kosten der privaten Verteidigung von Fr. 28'961.50 statt Fr. 14'480.60 und für die erstandene Untersuchungshaft eine angemessene Entschädigung sowie Genugtuung zuzusprechen. Eventualiter sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen.
D. Das Kantonsgericht Appenzell Innerrhoden beantragt die Abweisung der Beschwerde. Die Staatsanwaltschaft des Kantons Appenzell Innerrhoden beantragt, die Beschwerde sei unter Kosten- und Entschädigungsfolgen zulasten des Beschwerdeführers abzuweisen, soweit darauf einzutreten ist.

Erwägungen:
1. Mit Beschwerde in Strafsachen gemäss Art. 78 ff. BGG kann grundsätzlich jede Rechtsverletzung geltend gemacht werden, die bei der Anwendung von materiellem Strafrecht oder Strafprozessrecht begangen wird (<ref-ruling> E. 1.4.3 S. 41). Dies gilt auch für die Verletzung von Verfassungsrecht (Art. 95 lit. a BGG). Die subsidiäre Verfassungsbeschwerde ist somit ausgeschlossen (Art. 113 BGG). Sie ist als Beschwerde in Strafsachen entgegenzunehmen. Im Übrigen ist auf sie nicht einzutreten.
2. 2.1 Der Beschwerdeführer rügt eine Verletzung von Art. 6 Ziff. 3 lit. d EMRK und Art. 29 Abs. 2 BV (Recht auf ein faires Verfahren, Anspruch auf rechtliches Gehör) sowie Art. 32 Abs. 3 BV (Anspruch auf notwendige Verteidigung), da er nicht mit den Mitangeklagten konfrontiert worden sei und entsprechend keine Gelegenheit gehabt habe, an deren Einvernahmen teilzunehmen sowie Fragen zu stellen (Beschwerde, S. 4 f.). Auf seine eigenen Aussagen im Rahmen der Untersuchungshaft könne ebenfalls nicht abgestellt werden, da sie unter Verletzung der Vorschriften zur notwendigen Verteidigung entstanden seien (Beschwerde, S. 5). Nach der Strafprozessordnung des Kantons Appenzell Innerrhoden müsse er verteidigt sein, wenn unter anderem eine Freiheitsstrafe von mehr als zwei Jahren in Aussicht stehe oder die Untersuchung oder Beurteilung von Verbrechen und Vergehen aus rechtlichen oder tatsächlichen Gründen erhebliche Schwierigkeiten bereite und er sich selber nicht genügend verteidigen könne. Die Staatsanwaltschaft habe während zehn Jahren im In- und Ausland unter anderem wegen gewerbsmässigen Betrugs und Urkundenfälschung ermittelt. Die ausgefällten Strafen seien wegen der überlangen Verfahrensdauer in erheblichem Masse gesenkt worden. Dies sei zu Beginn des Untersuchungsverfahrens jedoch noch nicht bekannt gewesen. Die Staatsanwaltschaft habe daher nicht davon ausgehen können, dass keine Freiheitsstrafe über zwei Jahre in Aussicht gestanden hätte. Die erste Instanz sei denn auch von einer Einsatzstrafe von 40 Monaten ausgegangen und habe ihn schliesslich zu 24 Monaten Freiheitsstrafe verurteilt (Beschwerde, S. 14 ff.).
Weiter mache die Vorinstanz zu Unrecht geltend, dass er sich als Treuhänder selber genügend habe verteidigen können. Die Beurteilung des Falles bereite sowohl in rechtlicher wie tatsächlicher Hinsicht Schwierigkeiten. Der Aktenberg sei mit 45'000 Seiten Akten riesig. Ausserdem gehe es hauptsächlich um rechtliche Fragen. Er sei als juristischer Laie daher nicht in der Lage, sich genügend zu verteidigen. Dass eine anfängliche Notwendigkeit der Verteidigung gemäss Vorinstanz vor diesem Hintergrund nicht ersichtlich sei, sei nicht nur falsch, sondern geradezu unhaltbar (Beschwerde, S. 16 f.).
Der Beschwerdeführer bringt schliesslich erhebliche Vorwürfe zu den Haftbedingungen und zum Untersuchungsverfahren vor. So habe er Protokolle unterschreiben müssen, die er nicht habe durchlesen dürfen. Er sei in der Untersuchungshaft in einer eiskalten engen Einzelzelle gehalten worden und habe zuweilen kein Mittagessen erhalten. Die Untersuchungsrichterin habe ihm zudem gedroht, er müsse so lange in der Zelle bleiben, bis er alles unterschrieben habe, was sie wolle (Beschwerde, S. 17).
2.2 Die Vorinstanz lässt die formellen Einwände der fehlenden Konfrontation des Beschwerdeführers gegenüber den Mitangeklagten offen, da der Schuldspruch nicht auf Aussagen von Zeugen oder Auskunftspersonen basiere (angefochtenes Urteil, S. 18).
Die Aussagen des Beschwerdeführers im Untersuchungsverfahren selber seien verwertbar, da kein Fall der notwendigen Verteidigung im Sinne von Art. 32 StPO/AI vorgelegen habe. Der Strafantrag der Staatsanwaltschaft habe deutlich weniger als 24 Monate betragen. Es gebe keine Hinweise, dass diese Sanktionsprognose leichtfertig oder pflichtwidrig entstanden sei. Angesichts seiner Fachkenntnisse als Treuhänder und Wirtschaftsprüfer sei er den tatsächlichen Anforderungen des Falles gewachsen gewesen. Der Fall habe überdies in rechtlicher und prozessualer Hinsicht keine übermässigen Schwierigkeiten bereitet. Eine notwendige Verteidigung habe im Untersuchungsverfahren nicht bestanden (angefochtenes Urteil, S. 14 ff.). Erst als festgestanden habe, dass die zuständige Staatsanwältin die Anklage vor der ersten Instanz vertreten werde, hätte gestützt auf Art. 32 Abs. 1 lit. d StPO/AI Anlass bestanden, dem Beschwerdeführer einen Verteidiger zur Seite zu stellen. Seine Aussagen vor der ersten Instanz seien daher aufgrund einer gravierenden Verletzung des Grundsatzes der Waffen- und Chancengleichheit nicht verwertbar (angefochtenes Urteil, S. 15 f.).
Die Vorbringen des Beschwerdeführers zu den Haftbedingungen seien nach Treu und Glauben verspätet. Er hätte diese unverzüglich, spätestens jedoch nach seiner Entlassung aus der Untersuchungshaft vorbringen müssen (angefochtenes Urteil, S. 16 f.).
2.3 Das Bundesgericht hat mit ausführlicher Begründung dargelegt, dass grundsätzlich weder aus der Bundesverfassung noch der EMRK ein Anspruch auf obligatorische Verbeiständung abgeleitet werden kann (<ref-ruling> E. 3.1. und E. 3.2 mit zahlreichen Hinweisen). Da die Schweizerische Strafprozessordnung vom 5. Oktober 2007 (Strafprozessordnung, StPO; SR 312.0) gemäss Art. 453 Abs. 1 auf den vorliegenden Fall noch nicht anwendbar ist, ergibt sich ein allfälliger Anspruch auf notwendige Verteidigung einzig gestützt auf kantonales Recht. Das Gesetz des Kantons Appenzell Innerrhoden über die Strafprozessordnung vom 27. April 1986 in der bis zum 31. Dezember 2010 in Kraft stehenden Fassung sieht in Art. 32 Abs. 1 die notwendige Verteidigung vor, wenn eine Freiheitsstrafe von mehr als zwei Jahren (...) in Aussicht steht (lit. b) oder wenn die Untersuchung oder Beurteilung von Verbrechen und Vergehen aus rechtlichen oder tatsächlichen Gründen erhebliche Schwierigkeiten bereitet und der Beschuldigte sich nicht selber genügend verteidigen kann (lit. c). Art. 32 Abs. 2 aStPO/AI regelt zusätzlich, dass der Verteidiger bestellt werden muss, sobald die Voraussetzungen gemäss Abs. 1 als gegeben erscheinen. Zudem hat dies in der Untersuchung vor der Durchführung der wichtigsten Zeugeneinvernahmen zu geschehen.
2.4 Nach Art. 95 BGG kann mit Beschwerde an das Bundesgericht die Anwendung kantonalen Rechts grundsätzlich nicht überprüft werden. Soweit nicht die Verletzung kantonaler verfassungsmässiger Rechte, politischer Rechte oder interkantonalen Rechts gerügt wird, kann die Verletzung kantonalen Rechts nur geltend gemacht werden, wenn darin gleichzeitig eine unrichtige Anwendung von Bundesrecht, wie etwa die Verletzung des Willkürverbots gemäss Art. 9 BV, liegt (zum Begriff der Willkür <ref-ruling> E. 2.4 mit Hinweisen).
2.5 Die Vorinstanz wendet Art. 32 Abs. 1 lit. c StPO/AI unrichtig an. Gemäss ihren Ausführungen ist der vorliegende Fall "zweifellos äusserst umfangreich" (angefochtenes Urteil, S. 8) und umfasse 91 Bundesordner mit über 45'000 Aktenseiten (Begleitschreiben der Vorinstanz act. 7). Der Fall ist allerdings nicht nur umfangmässig aussergewöhnlich, sondern weist auch mehrfache internationale Bezüge auf, unter anderem mit den involvierten Finanzdienstleistern in London und New York. Die Tatvorwürfe des gewerbsmässigen Betrugs und der mehrfachen Urkundenfälschung sind ausserdem von grosser Komplexität. Die Untersuchungsbehörden durften daher entgegen der Vorinstanz nicht davon ausgehen, dass der Fall aus rechtlichen oder tatsächlichen Gründen im Sinne von Art. 32 Abs. 1 lit. c Satzteil 1 StPO/AI keine erheblichen Schwierigkeiten bereitet.
Um eine notwendige Verteidigung zu bejahen, verlangt Art. 32 Abs. 1 lit. c Satzteil 2 StPO/AI weiter, dass sich der Beschuldigte selber genügend verteidigen kann. Auch hier nimmt die Vorinstanz fälschlicherweise an, der Beschwerdeführer sei aufgrund seiner beruflichen Ausbildung und Tätigkeit in der Lage gewesen, sich vor den Untersuchungsbehörden genügend verteidigen zu können. Der Beschwerdeführer arbeitet zwar als Treuhänder und Wirtschaftsprüfer. Er bringt allerdings nachvollziehbar vor, dass er als juristischer Laie den juristischen und tatsächlichen Fragen dieses komplizierten und umfangreichen Falles nicht gewachsen gewesen sei. Die vorinstanzliche Annahme genügender fachlicher Kenntnisse des Beschwerdeführers ist angesichts der zahlreichen rechtlichen und tatsächlichen Schwierigkeiten, dem komplexen Auslandbezug sowie der aussergewöhnlichen Grösse des Falles unzutreffend. Die Vorinstanz begründet die Fachkenntnisse des Beschwerdeführers auch nicht weiter, sondern leitet sie lediglich aus seiner treuhänderischen Tätigkeit ab (angefochtenes Urteil, S. 15). Auch aus den Vernehmlassungsantworten ergibt sich nichts, was den Standpunkt der Vorinstanz stützen könnte. Diese verfällt in Willkür, indem sie die notwendige Verteidigung des Beschwerdeführers im Untersuchungsverfahren gestützt auf Art. 32 Abs. 1 lit. c StPO/AI verneint.
2.6 Die Vorinstanz verneint auch zu Unrecht eine notwendige Verteidigung des Beschwerdeführers gestützt auf Art. 32 Abs. 1 lit. b StPO/AI. Nach der bundesgerichtlichen Rechtsprechung kann für die Notwendigkeit der Rechtsverbeiständung nicht massgebend sein, welche Sanktion aufgrund des Strafrahmens theoretisch denkbar wäre. Andernfalls müsste auch bei Vergehen mit Bagatellcharakter ein Anspruch auf amtliche Verteidigung bejaht werden (<ref-ruling> E. 2b). Es ist daher nach objektiven Gesichtspunkten zu entscheiden, ob eine Freiheitsstrafe von mehr als zwei Jahren in Aussicht steht.
Dem Beschwerdeführer werden zur Hauptsache gewerbsmässiger Betrug und Urkundenfälschung vorgeworfen. Gewerbsmässigen Betrug bedroht das Gesetz mit Freiheitsstrafe bis zu zehn Jahren (Art. 146 Abs. 2 StGB). In echter Idealkonkurrenz mit Urkundenfälschung (Art. 251 StGB) resultiert eine Maximalstrafe von 15 Jahren Freiheitsstrafe (Art. 49 Abs. 1 StGB i.V.m. Art. 40 StGB). Im vorliegenden Fall beantragte die Staatsanwaltschaft in erster Instanz eine Freiheitsstrafe "nicht unter zwölf Monaten" und das Gericht setzte die Einsatzstrafe auf 40 Monate fest. Bedenkt man, dass der Beschwerdeführer schliesslich zu genau 24 Monaten Freiheitsstrafe verurteilt wurde und dass die dem Beschwerdeführer zugebilligte Strafmilderung hauptsächlich auf die sehr lange Verfahrensdauer zurückzuführen ist, wird deutlich, dass bereits im Untersuchungsverfahren bei objektiver Betrachtung eine Freiheitsstrafe von mehr als 24 Monaten im Raum stand. Die Vorinstanz verfällt in Willkür, wenn sie bei dieser Ausgangslage eine notwendige Verteidigung mit dem Argument verneint, dem Beschwerdeführer habe keine Strafe von über 24 Monaten gedroht.
Die Aussagen des Beschwerdeführers im Untersuchungsverfahren sind aufgrund der fehlenden Verteidigung in diesem Verfahrensstadium nicht verwertbar. Indem die Vorinstanz dennoch darauf abstellt, verletzt sie Bundesrecht. Bei dieser Sachlage erübrigen sich weitere formell- und materiellrechtliche Ausführungen.
3. Die Beschwerde ist gutzuheissen. Das Urteil des Kantonsgerichts Appenzell Innerrhoden vom 15. Dezember 2010 ist aufzuheben und die Sache zur neuen Entscheidung an die Vorinstanz zurückzuweisen. Bei diesem Ausgang des Verfahrens werden keine Gerichtskosten erhoben (Art. 66 Abs. 1 i.V.m. Abs. 4 BGG). Der Kanton Appenzell-Innerrhoden hat dem Beschwerdeführer eine angemessene Parteientschädigung auszurichten (Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen, das Urteil des Kantonsgerichts Appenzell Innerrhoden vom 15. Dezember 2010 aufgehoben und die Sache zur neuen Entscheidung an die Vorinstanz zurückgewiesen.
2. Es werden keine Gerichtskosten erhoben.
3. Der Kanton Appenzell Innerrhoden hat dem Beschwerdeführer eine Parteientschädigung von Fr. 3'000.-- auszurichten.
4. Dieses Urteil wird den Parteien und dem Kantonsgericht Appenzell I.Rh., Abteilung Zivil- und Strafgericht, schriftlich mitgeteilt.
Lausanne, 17. April 2012
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Mathys
Der Gerichtsschreiber: Keller