Sachverhalt:
A.
A._ ersuchte mit Schreiben vom 5. März 2019 beim Amt für Berufsbildung des Kantons St. Gallen um Zustellung von Kopien der Erfolgsrechnungen des Berufs- und Weiterbildungszentrums Wil-Uzwil sowie einer Detailübersicht über den jährlichen Werbeaufwand in den Bereichen der höheren Berufs- und Weiterbildung betreffend die Jahre 2013 bis 2018. Mit Verfügung vom 3. Juni 2019 wies das Amt für Berufsbildung das Gesuch ab. Dagegen erhob A._ am 14. Juni 2019 Rekurs beim Bildungsdepartement des Kantons St. Gallen, welches den Rekurs am 7. Oktober 2020 abwies.
Mit Entscheid vom 18. Februar 2021 hiess das Verwaltungsgericht des Kantons St. Gallen die von A._ gegen den Rekursentscheid erhobene Beschwerde insoweit gut, als es die Angelegenheit zur Prüfung des Einsichtsgesuchs unter dem Titel des wissenschaftlichen Interesses an das Amt für Berufsbildung zurückwies. Im Übrigen wies es die Beschwerde ab, soweit es darauf eintrat.
B.
Mit Eingabe vom 26. März 2021 führt A._ Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht. Er beantragt, den Entscheid des Verwaltungsgerichts aufzuheben. Weiter sei das Bildungsdepartement anzuweisen, ihm gemäss seinem Gesuch vom 5. März 2019 vollumfängliche Einsicht in die verlangten Dokumente zu gewähren.
Das Bildungsdepartement beantragt die Abweisung der Beschwerde. Das Verwaltungsgericht beantragt die Beschwerde abzuweisen, soweit darauf einzutreten sei.

Erwägungen:
1.
1.1. Angefochten ist ein kantonal letztinstanzlicher Entscheid im Zusammenhang mit der Anwendung des Öffentlichkeitsprinzips der Verwaltung und dem Zugang zu amtlichen Dokumenten. Dagegen steht grundsätzlich die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht offen (vgl. <ref-law>). Allerdings schliesst der angefochtene Entscheid das Verfahren nicht ab, sondern weist die Sache an die Vorinstanz zur Prüfung des Einsichtsgesuchs des Beschwerdeführers unter dem Titel des wissenschaftlichen Interesses zurück. Soweit der Beschwerdeführer in diesem Zusammenhang vorbringt, der Entscheid stelle - zumindest soweit er die Beschwerde betreffend die anderen Einsichtsmodalitäten abweise - einen Endentscheid dar, kann ihm nicht gefolgt werden. Ein Urteil, das nur über einen materiellen Teilaspekt einer Streitsache, nicht aber über eines der Beschwerdebegehren abschliessend entscheidet, gilt unter dem Blickwinkel des Bundesgerichtsgesetzes nicht als Teilentscheid gemäss <ref-law>, sondern als Zwischenentscheid im Sinne von <ref-law> (vgl. <ref-ruling> E. 1.2; <ref-ruling> E. 4.2 und E. 4.3). Ein solcher kann gemäss <ref-law> beim Bundesgericht nur direkt angefochten werden, wenn er einen nicht wieder gutzumachenden Nachteil bewirken kann (lit. a) oder wenn die Gutheissung der Beschwerde sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde (lit. b).
Rechtsprechungsgemäss sind Rückweisungsentscheide, mit denen eine Sache zur neuen Entscheidung an die Vorinstanz zurückgewiesen wird, grundsätzlich Zwischenentscheide, die nur unter den genannten Voraussetzungen beim Bundesgericht angefochten werden können (<ref-ruling> E. 1.4; <ref-ruling> E. 2; <ref-ruling> E. 1.2; je mit Hinweisen). Anders verhält es sich nur dann, wenn der unteren Instanz, an welche zurückgewiesen wird, kein Entscheidungsspielraum mehr verbleibt und die Rückweisung nur noch der Umsetzung des oberinstanzlich Angeordneten dient (<ref-ruling> E. 1.4; <ref-ruling> E. 1.2; <ref-ruling> E. 1.2).
1.2. Vorliegend hat das Verwaltungsgericht einen Rückweisungsentscheid getroffen, indem es die Sache zur Prüfung des Einsichtsgesuchs unter dem Titel des wissenschaftlichen Interesses an das Amt für Berufsbildung zurückgewiesen hat. Der Beschwerdeführer ist diesbezüglich der Auffassung, dem Amt für Berufsbildung verbleibe bei der Prüfung des Gesuchs kein eigener Entscheidungsspielraum. Zur Begründung führt er aus, das Verwaltungsgericht bezweifle, dass überhaupt noch ein Interesse in Bezug auf die anbegehrten Daten bestehe. Dabei verkenne es, dass er die Daten auch für eine andere wissenschaftliche Arbeit als seine Masterarbeit zu verwenden beabsichtige, sofern die Unterlagen nicht mehr rechtzeitig herausgegeben würden. Zudem auferlege das Verwaltungsgericht dem Amt für Berufsbildung eine weitere Einschränkung, indem es festgehalten habe, die Daten könnten grundsätzlich nur in einem wettbewerbsrechtlichen Verfahren erhältlich gemacht werden. Durch diese Vorgaben werde er jeglicher Möglichkeit beraubt, jemals im Rahmen eines Verfahrens nach dem Öffentlichkeitsgesetz zu den gewünschten Unterlagen zu kommen.
Inwiefern aus diesen Ausführungen geschlossen werden müsste, dem Amt für Berufsbildung verbleibe bei der Beurteilung des Einsichtsgesuchs unter dem Titel des wissenschaftlichen Interesses kein eigener Entscheidungsspielraum bzw. die Rückweisung diene nur der Umsetzung des oberinstanzlich Angeordneten, ist nicht ersichtlich. Das Verwaltungsgericht macht dem Amt für Berufsbildung keine inhaltlichen Vorgaben im Zusammenhang mit der Prüfung des Gesuchs. Es beschränkt sich vielmehr darauf, dem Amt einen Prüfungsauftrag zu erteilen. Die Aufgabe des Amts für Berufsbildung erschöpft sich folglich nicht in einer blossen Umsetzung des vorinstanzlichen Urteils, sondern es verbleibt ihm ein eigener Entscheidungsspielraum. Im Lichte der zitierten Rechtsprechung stellt der angefochtene Rückweisungsentscheid daher einen Zwischenentscheid dar, der nur unter den in <ref-law> genannten Voraussetzungen anfechtbar ist (vgl. E. 1.1 hiervor).
1.3. Der Beschwerdeführer ist diesbezüglich der Auffassung, ihm erwachse ein nicht wieder gutzumachender Nachteil im Sinne von <ref-law>. Das Verwaltungsgericht habe sich bei den dem Amt für Berufsbildung auferlegten Einschränkungen des Entscheidungsspielraums auf einen in Verletzung des rechtlichen Gehörs ermittelten Sachverhalt gestützt. Dieser erwachse in Rechtskraft und sei für die Neubeurteilung des Rückweisungsentscheids für das Amt für Berufsbildung verbindlich. Somit sei offensichtlich, dass eine Neubeurteilung, die auf einen rechtlich mangelhaft ermittelten Sachverhalt abstelle, mit einem nicht wieder gutzumachenden Schaden verbunden sei. Eine dahingehende Anfechtung vor Bundesgericht sei folglich unabdingbar.
Damit zeigt der Beschwerdeführer indessen nicht in verständlicher Weise auf, inwiefern ihm ein nicht wieder gutzumachender Nachteil im Sinne von <ref-law> drohen könnte. Dies gilt umso mehr, als nach ständiger Praxis der Nachteil rechtlicher Natur sein müsste und auch durch einen für die rechtsuchende Partei günstigen Endentscheid nachträglich nicht mehr behoben werden könnte (vgl. <ref-ruling> E. 3.6; <ref-ruling> E. 1; je mit Hinweisen). Ein solcher Nachteil ist vorliegend nicht ersichtlich, zumal, wie erwähnt, durch den vorinstanzlichen Rückweisungsentscheid ohnehin keine Einschränkungen des Entscheidungsspielraums des Amts für Berufsbildung vorliegen (vgl. E. 1.2 hiervor). Daran ändert im Übrigen auch die unsubstanziierte Rüge des Beschwerdeführers nichts, wonach der Sachverhalt angeblich lediglich auf den unbewiesenen Behauptungen der Vorinstanz beruhe, während seine zahlreichen Beweisdokumente sowie Beweisanträge generell und begründungslos unbeachtet geblieben seien. Dem Beschwerdeführer steht es sodann offen, einen allenfalls für ihn ungünstigen Endentscheid betreffend das Einsichtgesuch anzufechten. Diesfalls kann er den vorliegend angefochtenen Entscheid zusammen mit dem Endentscheid anfechten, soweit sich jener auf dessen Inhalt auswirkt (<ref-law>).
Zu den Beschwerdevoraussetzungen nach <ref-law> macht der Beschwerdeführer keine Ausführungen. Diese sind auch nicht offensichtlich gegeben. Auf die Beschwerde ist demzufolge nicht einzutreten.
2.
Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer kostenpflichtig (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird dem Beschwerdeführer, dem Bildungsdepartement des Kantons St. Gallen und dem Verwaltungsgericht des Kantons St. Gallen, Abteilung II, schriftlich mitgeteilt.
Lausanne, 22. Juli 2021
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kneubühler
Die Gerichtsschreiberin: Sauthier