Sachverhalt:
A. Die Landesschulkommission des Kantons Appenzell I.Rh. teilte X._ am 26. Januar 2011 mit, das Kaufmännische Berufs- und Weiterbildungszentrum St. Gallen habe aufgrund der interkantonalen Fachschulvereinbarung vom 27. August 1998 (FSV; 413.910) den Beitrag für seine Weiterbildung zum "Finanzfachmann FA" in Rechnung gestellt. Gemäss Art. 12 Abs. 2 des Gesetzes des Kantons Appenzell I.Rh. über Ausbildungsbeiträge vom 26. April 1987 (416.000; nachfolgend: Ausbildungsbeitragsgesetz) sei die Landesschulkommission gehalten, bei studierenden Personen, die das 40. Altersjahr überschritten hätten, den kantonalen Ausbildungsbeitrag zurückzufordern. X._ wurde aufgefordert, innert 30 Tagen den Betrag von Fr. 1'300.-- zu überweisen. Er wurde gleichzeitig darauf hingewiesen, dass er gemäss Art. 9bis der Verordnung über Ausbildungsbeiträge vom 20. Juni 1994 (416.010) die Möglichkeit habe, bei der Standeskommission einen Antrag auf Verzicht der Rückforderung des kantonalen Ausbildungsbeitrags einzureichen.
B. Gegen diese Verfügung reichte X._ bei der Standeskommission des Kantons Appenzell I.Rh. Rekurs ein und beantragte, auf die Rückforderung des Betrags von Fr. 1'300.-- und der künftigen Semesterbeiträge sei zu verzichten. Zudem sei ein Legislativverfahren zur Aufhebung von Art. 12 Abs. 2 des Ausbildungsbeitragsgesetzes in die Wege zu leiten und auf die Erhebung weiterer Kosten zu verzichten. Die Standeskommission des Kantons Appenzell I.Rh. wies den Rekurs ab, soweit sie darauf eintrat.
Das Kantonsgericht Appenzell I.Rh., Abteilung Verwaltungsgericht, wies die gegen den Entscheid der Standeskommission erhobene Beschwerde mit Entscheid vom 15. November 2011 (Versand 3. Januar 2012) ab, soweit es darauf eintrat.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten - und allenfalls subsidiärer Verfassungsbeschwerde - vom 3. Februar 2012 beantragt X._, der Entscheid des Kantonsgerichts Appenzell I.Rh., Abteilung Verwaltungsgericht, vom 15. November 2011 sei aufzuheben.
Das Kantonsgericht Appenzell I.Rh. beantragt die Abweisung der Beschwerde. Die Standeskommission Appenzell I.Rh. beantragt, auf die Beschwerde sei nicht einzutreten, eventualiter sei sie vollumfänglich abzuweisen. Die Landesschulkommission Appenzell I.Rh. verzichtet auf eine Stellungnahme. Mit Eingabe vom 16. April 2012 hält X._ implizit an seinen Anträgen fest.

Erwägungen:
1. 1.1 Angefochten ist ein letztinstanzlicher kantonaler Endentscheid über eine Angelegenheit des öffentlichen Rechts, so dass die Beschwerde in öffentlich-rechtlichen Angelegenheiten grundsätzlich zulässig ist (vgl. Art. 82 lit. a, Art. 86 Abs. 1 lit. d BGG). Gegenstand des Verfahrens bildet die Rückforderung eines Ausbildungsbeitrags, mithin einer Finanzhilfe. Gemäss <ref-law> ist die Beschwerde unzulässig gegen Entscheide betreffend Subventionen, auf die kein Anspruch besteht. Mit dem Widerruf bzw. der Rückforderung einer bereits ausgerichteten Subvention wird jedoch stets in die Rechtsstellung der betroffenen Person eingegriffen. Deshalb ist nach der Rechtsprechung die Beschwerde in solchen Fällen auch dann zulässig, wenn ursprünglich kein Anspruch auf die Finanzhilfe bestanden hat (Urteile 2C_152/2010 vom 24. August 2010 E. 1.1; 2C_631/2009 vom 22. Februar 2010 E. 1.2). Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist somit zulässig. Für die subsidiäre Verfassungsbeschwerde bleibt gemäss <ref-law> kein Raum, weshalb darauf nicht einzutreten ist (<ref-ruling> E. 5 S. 552).
1.2 Gemäss <ref-law> ist in der Begründung der Beschwerde in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt. Dies setzt voraus, dass sich der Beschwerdeführer wenigstens kurz mit den Erwägungen des angefochtenen Entscheids auseinandersetzt (<ref-ruling> E. 2.1 S. 245). Das Bundesgericht prüft grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.4.1 S. 254). Auf ungenügend begründete Rügen und bloss allgemein gehaltene, appellatorische Kritik am angefochtenen Entscheid tritt es nicht ein. Eine qualifizierte Rügepflicht gilt hinsichtlich der Verletzung von Grundrechten und von kantonalem und interkantonalem Recht (<ref-law>). Das Bundesgericht prüft solche Rügen nur, wenn sie in der Beschwerde präzise vorgebracht und begründet worden sind (<ref-ruling> E. 1.6 S. 130; <ref-ruling> E. 1.4.2 S. 254; <ref-ruling> E. 1.4 S. 287). Wird eine Verletzung des Willkürverbots geltend gemacht, muss anhand der angefochtenen Subsumtion im Einzelnen dargelegt werden, inwiefern der Entscheid an einem qualifizierten und offensichtlichen Mangel leidet (<ref-ruling> E. 2.2 S. 246 mit Hinweis).
1.2.1 Die Vorinstanz hat den Entscheid der Standeskommission, an der Rückforderung von Fr. 1'300.- festzuhalten, sowie den Nichteintretensentscheid der Standeskommission betreffend die Rückforderung künftiger Schulgeldbeiträge bestätigt. Auf den bereits im Verfahren vor der Standeskommission gestellten Antrag, es sei ein Legislativverfahren zur Aufhebung von Art. 12 Abs. 2 des Ausbildungsbeitragsgesetzes einzuleiten, ist die Vorinstanz nicht eingetreten. Auf die im vorinstanzlichen Verfahren neu gestellten Begehren um Rückerstattung des Kursgeldes im Betrag von Fr. 3'703.20 und um Zusprechung von Schadenersatz in der Höhe von Fr. 51'885.65 ist die Vorinstanz ebenfalls nicht eingetreten.
1.2.2 In seiner Eingabe ans Bundesgericht nimmt der Beschwerdeführer auf den Entscheid der Vorinstanz, auf verschiedene Begehren nicht einzutreten, in keiner Weise Bezug. Auch zum Entscheid der Vorinstanz, welcher den Nichteintretensentscheid der Standeskommission betreffend zukünftige Rückforderungen bestätigt, äussert sich der Beschwerdeführer nicht. Soweit sich sein Antrag auf Aufhebung des vorinstanzlichen Entscheids auch auf diese Punkte beziehen sollte, ist darauf mangels rechtsgenügender Begründung nicht einzutreten.
2. Der angefochtene Entscheid stützt sich auf Art. 12 des Ausbildungsbeitragsgesetzes (in Kraft seit 21. Juni 2004). Nach Abs. 1 dieser Bestimmung werden Schulgelder, welche der Kanton aufgrund vertraglicher Verpflichtungen für den Besuch einer ausserkantonalen Ausbildungseinrichtung eines Kantonseinwohners zu bezahlen hat, in der Regel vom Kanton geleistet. Kantonseinwohner, welche nach dem erfüllten 40. Altersjahr mit dem Studium an einer solchen Ausbildungseinrichtung beginnen, haben gemäss Art. 12 Abs. 2 des Ausbildungsbeitragsgesetzes dem Kanton das Schulgeld zurückzuerstatten. Das Nähere regelt der Grosse Rat (Art. 12 Abs. 3 des Ausbildungsbeitragsgesetzes).
2.1 Der Beschwerdeführer rügt, Art. 12 Abs. 2 des Ausbildungsbeitragsgesetzes verletze <ref-law>.
Gemäss <ref-law> kann der Bund den Kantonen Beiträge an ihre Aufwendungen für Ausbildungsbeiträge an Studierende von Hochschulen und anderen Institutionen des höheren Bildungswesens gewähren; er kann die interkantonale Harmonisierung der Ausbildungsbeiträge fördern und Grundsätze für die Ausrichtung von Ausbildungsbeiträgen festlegen. Er kann zudem in Ergänzung zu den kantonalen Massnahmen und unter Wahrung der kantonalen Schulhoheit eigene Massnahmen zur Förderung der Ausbildung ergreifen (<ref-law>).
Der Beschwerdeführer zeigt nicht auf, inwiefern der angefochtene Entscheid diese Verfassungsbestimmung verletzen soll. Es fehlt diesbezüglich an der Substanziierung der Rüge, wie <ref-law> sie verlangt (vgl. E. 1.2). Abgesehen davon ist nicht ersichtlich, welche Individualansprüche sich aus <ref-law> ergeben sollen. Nach der Lehre handelt es sich bei <ref-law> um eine unselbständige, bei <ref-law> um eine selbständige Förderungskompetenz (vgl. EHRENZELLER/SAHLFELD, in: Die schweizerische Bundesverfassung, Kommentar, 2. Aufl. 2008, N. 9 und 14 zu <ref-law>). Gestützt auf <ref-law> wurde das Bundesgesetz vom 6. Oktober 2006 über Beiträge an die Aufwendungen der Kantone für Stipendien und Studiendarlehen im tertiären Bildungsbereich (SR 416.0) erlassen. Dieses Gesetz statuiert die Voraussetzungen, welche die Kantone für die Gewährung von Bundesbeiträgen zur Stipendienfinanzierung erfüllen müssen. Es enthält keine justiziablen Ansprüche der allenfalls stipendienberechtigten Personen. Das Stipendienwesen ist grundsächlich Sache der Kantone (vgl. EHRENZELLER/ SAHLFELD, a.a.O., N. 6 zu <ref-law>).
2.2 Weiter bringt der Beschwerdeführer vor, die Anwendung von Art. 12 Abs. 2 des kantonalen Ausbildungsbeitragsgesetzes verletze Art. 52 ff. des Berufsbildungsgesetzes vom 13. Dezember 2002 (BBG; SR 412.10).
Gemäss <ref-law> beteiligt sich der Bund im Rahmen der bewilligten Kredite angemessen an den Kosten der Berufsbildung nach diesem Gesetz. Er leistet hauptsächlich Pauschalbeiträge an die Kantone zur Finanzierung der Aufgaben nach Artikel 53; die Kantone leiten diese Beiträge in dem Ausmass an Dritte weiter, in dem diesen die genannten Aufgaben übertragen sind (<ref-law>).
Der Beschwerdeführer macht geltend, <ref-law> würden es dem Kanton Appenzell I.Rh. grundsätzlich verwehren, von einer studierenden Person Beiträge zurückzufordern, welche der Kanton zur Förderung der Weiterbildung gestützt auf das BBG bzw. auf die Interkantonale Fachschulvereinbarung dem Träger einer Fachschule geleistet habe. Dieser Schluss lässt sich den vom Beschwerdeführer zitierten Bestimmungen des BBG nicht entnehmen. In den fraglichen Gesetzesbestimmungen ist vielmehr einzig geregelt, in welcher Weise sich der Bund gegenüber den Kantonen und Drittanbietern von Leistungen im Rahmen der Berufsbildung an den Kosten beteiligt. Ansprüche der Auszubildenden gegenüber den Kantonen, beispielsweise auf Übernahme von Schulgeldern, lassen sich daraus nicht ableiten.
2.3 Schliesslich rügt der Beschwerdeführer, Art. 12 Abs. 2 des kantonalen Ausbildungsbeitragsgesetzes bzw. dessen Anwendung im angefochtenen Entscheid verstosse gegen das Diskriminierungsverbot gemäss <ref-law>.
Nach der genannten Verfassungsbestimmung darf niemand diskriminiert werden, namentlich nicht wegen der Herkunft, der Rasse, des Geschlechts, des Alters, der Sprache, der sozialen Stellung, der Lebensform, der religiösen, weltanschaulichen oder politischen Überzeugung oder wegen einer körperlichen, geistigen oder psychischen Behinderung. Der Beschwerdeführer sieht eine unerlaubte Diskriminierung darin, dass Art. 12 Abs. 2 des Ausbildungsbeitragsgesetzes die Rückforderung von Ausbildungsbeiträgen lediglich von über 40-jährigen Personen vorsieht.
Die Vorinstanz hat sich bereits ausführlich mit diesem Vorbringen auseinandergesetzt und dargelegt, dass die Ausbildung wohl ein zentrales Anliegen auf Bundes- und Kantonsebene sei. Dennoch müssten die dem Kanton Appenzell I.Rh. für die Bildung zur Verfügung stehenden finanziellen Möglichkeiten insgesamt wie auch unter Beachtung anderer kantonaler Aufgaben stets mitberücksichtigt und die Mittel gezielt eingesetzt werden. Es rechtfertige sich somit, die budgetierten Ausbildungsbeträge im Grundsatz den jungen Personen zu deren beruflicher Förderung zur Verfügung zu stellen, da über 40-jährige in der Regel finanziell eher die Möglichkeit hätten, ihre Weiterbildungskosten selber zu tragen. Die Rechtsordnung gehe vom Grundsatz aus, dass der Einzelne - insbesondere derjenige, der vor Beginn seiner Ausbildung berufstätig war, Einkommen erzielen und Ersparnisse anlegen konnte - seine Ausbildung selber zu finanzieren habe, soweit sich nicht das Gemeinwesen durch Unentgeltlichkeit des Unterrichts an den Kosten beteilige. Auch könne den Gesetzesmaterialien zum Ausbildungsbeitragsgesetz entnommen werden, dass der Kanton nicht bereit sei, Studiengelder für Studierende zu bezahlen, die sich ein Zweitstudium leisten wollten. Um sich nicht in die Fragen der Notwendigkeit einer solchen Ausbildung einzulassen, sei eine Alterslimite festgelegt worden.
Nach der Rechtsprechung ist die Anknüpfung an ein verpöntes Merkmal im Sinn von <ref-law> nicht absolut unzulässig, sondern begründet lediglich den Verdacht einer unzulässigen Differenzierung, die qualifiziert zu rechtfertigen ist (<ref-ruling> E. 5.1 S. 62 mit Hinweisen). Die in Art. 12 Abs. 2 des Ausbildungsbeitragsgesetzes festgelegte Alterslimite stellt ein sachlich begründetes Kriterium dar, um die Kosten des Kantons im Bereich der Berufsbildung zu begrenzen bzw. die vorhandenen finanziellen Mittel für Erstausbildungen verwenden zu können. Von einer Diskriminierung der über 40-jährigen Personen, welche eine Weiterbildung in Angriff nehmen, kann daher nicht gesprochen werden.
2.4 Aus den vorstehenden Erwägungen ergibt sich, dass der angefochtene Entscheid nicht zu beanstanden ist. Die Ausführungen des Beschwerdeführers, wonach gemäss der Zielsetzung von <ref-law> und des BBG die staatlichen Beiträge nach dem Grundsatz des lebenslangen Lernens gerade auch die Weiterbildung der über 40-jährigen Personen fördern sollen, sind ebenso unbehelflich wie die pauschale Bemerkung, die generelle Annahme der Vorinstanz, die über 40-jährigen könnten sich eher eine Weiterbildung leisten, sei willkürlich. Wie bereits ausgeführt, lassen sich aus <ref-law> und den <ref-law> keine individuellen Leistungsansprüche ableiten.
2.5 Zusammenfassend ist festzustellen, dass der vorinstanzliche Entscheid vor dem Bundesrecht, insbesondere auch vor der Bundesverfassung, standhält und daher zu bestätigen ist. Dies hat zur Folge, dass der Beschwerdeführer die geleisteten Ausbildungsbeiträge im Betrag von Fr. 1'300.-- dem Kanton Appenzell I.Rh. zurückzuerstatten hat. Daran vermögen die weiteren Ausführungen des Beschwerdeführers, wonach kaum von einer relevanten finanziellen Belastung für den Kanton Appenzell I.Rh. gesprochen werden könne, sowie wonach die Vorlage an der Landsgemeinde umstritten gewesen sei, nichts zu ändern.
3. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist daher abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang des Verfahrens wird der unterliegende Beschwerdeführer kostenpflichtig (Art. 65 und Art. 66 Abs. 1 BGG). Parteientschädigungen sind nicht geschuldet (Art. 68 Abs. 1 und 3 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird abgewiesen, soweit darauf einzutreten ist.
2. Auf die subsidiäre Verfassungsbeschwerde wird nicht eingetreten.
3. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Verfahrensbeteiligten und dem Kantonsgericht Appenzell I.Rh., Abteilung Verwaltungsgericht, schriftlich mitgeteilt.
Lausanne, 30. Mai 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Die Gerichtsschreiberin: Genner