Sachverhalt: A. Die Landesschulkommission des Kantons Appenzell I.Rh. teilte X._ am 26. Januar 2011 mit, das Kaufmännische Berufs- und Weiterbildungszentrum St. Gallen habe aufgrund der interkantonalen Fachschulvereinbarung vom 27. August 1998 (FSV; 413.910) den Beitrag für seine Weiterbildung zum "Finanzfachmann FA" in Rechnung gestellt. Gemäss Art. 12 Abs. 2 des Gesetzes des Kantons Appenzell I.Rh. über Ausbildungsbeiträge vom 26. April 1987 (416.000; nachfolgend: Ausbildungsbeitragsgesetz) sei die Landesschulkommission gehalten, bei studierenden Personen, die das 40. Altersjahr überschritten hätten, den kantonalen Ausbildungsbeitrag zurückzufordern. X._ wurde aufgefordert, innert 30 Tagen den Betrag von Fr. 1'300.-- zu überweisen. Er wurde gleichzeitig darauf hingewiesen, dass er gemäss Art. 9bis der Verordnung über Ausbildungsbeiträge vom 20. Juni 1994 (416.010) die Möglichkeit habe, bei der Standeskommission einen Antrag auf Verzicht der Rückforderung des kantonalen Ausbildungsbeitrags einzureichen. B. Gegen diese Verfügung reichte X._ bei der Standeskommission des Kantons Appenzell I.Rh. Rekurs ein und beantragte, auf die Rückforderung des Betrags von Fr. 1'300.-- und der künftigen Semesterbeiträge sei zu verzichten. Zudem sei ein Legislativverfahren zur Aufhebung von Art. 12 Abs. 2 des Ausbildungsbeitragsgesetzes in die Wege zu leiten und auf die Erhebung weiterer Kosten zu verzichten. Die Standeskommission des Kantons Appenzell I.Rh. wies den Rekurs ab, soweit sie darauf eintrat. Das Kantonsgericht Appenzell I.Rh., Abteilung Verwaltungsgericht, wies die gegen den Entscheid der Standeskommission erhobene Beschwerde mit Entscheid vom 15. November 2011 (Versand 3. Januar 2012) ab, soweit es darauf eintrat. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten - und allenfalls subsidiärer Verfassungsbeschwerde - vom 3. Februar 2012 beantragt X._, der Entscheid des Kantonsgerichts Appenzell I.Rh., Abteilung Verwaltungsgericht, vom 15. November 2011 sei aufzuheben. Das Kantonsgericht Appenzell I.Rh. beantragt die Abweisung der Beschwerde. Die Standeskommission Appenzell I.Rh. beantragt, auf die Beschwerde sei nicht einzutreten, eventualiter sei sie vollumfänglich abzuweisen. Die Landesschulkommission Appenzell I.Rh. verzichtet auf eine Stellungnahme. Mit Eingabe vom 16. April 2012 hält X._ implizit an seinen Anträgen fest.