Erwägungen:
1.
A._ (geb. 1980) absolvierte ab dem Frühjahrssemester 2016 an der Universität St. Gallen im zweiten Versuch das deutschsprachige Assessmentjahr (juristische Vertiefung). Mit Verfügung vom 18. Mai 2017 wurde ihm mitgeteilt, dass er gemäss beigelegtem Notenauszug die maximale Anzahl der Minus-Kreditnotenpunkte überschritten und daher das Assessmentjahr auch im zweiten Versuch nicht bestanden habe. Die Verfügung enthielt den Hinweis, dass das Assessmentjahr nicht mehr wiederholt werden könne. Mit Rekurs vom 1. Juni 2017 gelangte A._ an die Rekurskommission der Universität St. Gallen mit dem Rechtsbegehren, die Verfügung vom 18. Mai 2017 sei aufzuheben. Zudem sei ihm die unentgeltliche Rechtspflege zu gewähren. Die Rekurskommission leitete das Gesuch um unentgeltliche Rechtspflege zuständigkeitshalber an das Sicherheits- und Justizdepartement weiter. Dieses wies mit Verfügung vom 25. Juli 2017 das Gesuch wegen Aussichtslosigkeit des Rekurses ab. Mit Entscheid vom 22. September 2017 wies der Präsident der Abteilung III des Verwaltungsgerichts des Kantons St. Gallen die dagegen erhobene Beschwerde ebenfalls ab.
Mit Beschwerde vom 19. Oktober 2017 beantragt A._ die Aufhebung des vorinstanzlichen Entscheids. Es sei ihm im Rekursverfahren die unentgeltliche Rechtspflege zu gewähren. Im Verfahren vor Bundesgericht sei auf die Erhebung von Gerichtsgebühren zu verzichten.
Das Bundesgericht hat die vorinstanzlichen Akten eingeholt; auf eine Vernehmlassung wurde verzichtet. Soweit auf die Beschwerde eingetreten werden kann, erweist sie sich als offensichtlich unbegründet, weshalb sie nach Art. 109 BGG mit summarischer Begründung und Verweis auf die vorinstanzlichen Erwägungen zu erledigen ist.
2.
2.1. Angefochten ist ein kantonal letztinstanzlicher Entscheid (Art. 86 Abs. 1 lit. d BGG), mit dem einer Prozesspartei die unentgeltliche Rechtspflege verweigert worden ist. Dabei handelt es sich praxisgemäss um einen Zwischenentscheid, der einen nicht wieder gutzumachenden Nachteil bewirken kann (Art. 93 Abs. 1 lit. a BGG; BGE 129 I 281 E. 1.1 S. 283; 126 I 207 E. 2a S. 210 mit Hinweisen). Bei Zwischenentscheiden folgt der Rechtsweg jenem der Hauptsache (BGE 137 III 380 E. 1.1 S. 382; 133 III 645 E. 2.2 S. 647 f.). Gegenstand des Verfahrens in der Hauptsache ist eine Notenverfügung, welche die Prüfungsleistungen des Beschwerdeführers wiedergibt und das Nichtbestehen des Assessmentjahres im zweiten Versuch bescheinigt. Nach Art. 83 lit. t BGG ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten unzulässig gegen Entscheide über das Ergebnis von Prüfungen und anderen Fähigkeitsbewertungen, namentlich auf den Gebieten der Schule, der Weiterbildung und der Berufsausübung. Diese Ausschlussbestimmung zielt auf Prüfungsergebnisse im eigentlichen Sinn sowie auf alle Entscheide ab, die auf einer Bewertung der intellektuellen oder physischen Fähigkeiten eines Kandidaten beruhen, nicht aber auf andere Entscheide im Zusammenhang mit Prüfungen wie insbesondere solche organisatorischer Natur (BGE 138 II 42 E. 1.2 S. 44 f. mit Hinweisen). Ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten nicht zulässig, ist zu prüfen, ob der Entscheid mit subsidiärer Verfassungsbeschwerde (Art. 113 BGG) angefochten werden kann. Ob die Eingabe des Beschwerdeführers als Beschwerde in öffentlich-rechtlichen Angelegenheiten oder als subsidiäre Verfassungsbeschwerde entgegen zu nehmen ist, kann vorliegend offenbleiben, da ihr - wie nachfolgend dargelegt - so oder anders kein Erfolg beschieden ist.
2.2. Das Bundesgericht wendet das Recht grundsätzlich von Amtes wegen an, prüft die bei ihm angefochtenen Entscheide aber nur auf Rechtsverletzungen hin, die vom Beschwerdeführer geltend gemacht werden (vgl. Art. 42 Abs. 2 BGG). Dabei gilt hinsichtlich der Verletzung von Grundrechten, insbesondere des Willkürverbots, eine qualifizierte Rügepflicht (Art. 106 Abs. 2 BGG; vgl. BGE 136 I 229 E. 4.1 S. 235). Es ist anhand der Erwägungen des angefochtenen Entscheids und in gezielter Auseinandersetzung mit denselben detailliert aufzuzeigen, dass und inwiefern die angerufenen verfassungsmässigen Rechte verletzt worden seien (BGE 141 I 36 E. 1.3 S. 41; 139 I 229 E. 2.2 S. 232; je mit Hinweisen).
3.
Gegenstand des angefochtenen Entscheides bildet einzig die Verweigerung der unentgeltlichen Rechtspflege. Soweit der Beschwerdeführer im Verfahren vor Bundesgericht Fragen aufwirft, welche ausserhalb dieses Prozessgegenstandes liegen, ist darauf nicht einzutreten.
3.1. Der Beschwerdeführer macht geltend, die Verweigerung der unentgeltlichen Rechtspflege im Rekursverfahren wegen Aussichtslosigkeit verstosse gegen das Willkürverbot.
3.1.1. Der Anspruch auf unentgeltliche Rechtspflege richtet sich grundsätzlich nach kantonalem und subsidiär nach Bundesverfassungsrecht (Art. 29 Abs. 3 BV). Nach dem Gesetz des Kantons St. Gallen vom 16. Mai 1965 über die Verwaltungsrechtspflege (sGS 951.1; nachfolgend: VRP) wird die unentgeltliche Rechtspflege gewährt, wenn der Gesuchsteller bedürftig und das von ihm angestrebte Verfahren nicht aussichtslos ist (Art. 99 Abs. 2 VRP i.V.m. Art. 117 ZPO [SR 272]). Bei der Beurteilung der Aussichtslosigkeit orientierte sich die Vorinstanz an der bundesgerichtlichen Rechtsprechung zu Art. 29 Abs. 3 BV. Rechtsbegehren sind demnach aussichtslos, wenn deren Gewinnaussichten zur Zeit der Verfahrenseinleitung betrachtet deutlich geringer sind als die Verlustgefahren. Entscheidend ist, ob eine nicht bedürftige Partei sich vernünftigerweise zu einem Prozess entschliessen würde (BGE 133 III 614 E. 5 S. 616 mit Hinweisen). Dabei ist notwendigerweise auf die Hauptstreitsache Bezug zu nehmen, vorliegend also auf die Frage, ob die Notenverfügung vom 18. Mai 2017 rechtens ist.
3.1.2. Gemäss Art. 32 lit. b der Prüfungsordnung für das Assessmentjahr der Universität St. Gallen vom 7. Mai 2012 ist die Prüfung unter anderem dann bestanden, wenn insgesamt zwölf Minus-Kreditnotenpunkte nicht überschritten werden. Bei Nichtbestehen kann das Assessmentjahr einmal wiederholt werden (Art. 35 Abs. 1 der Prüfungsordnung). Wie die Vorinstanz für das Bundesgericht verbindlich feststellt (Art. 105 Abs. 1 BGG), hat der Beschwerdeführer gemäss Notenauszug vom 18. Mai 2017 bei den von ihm abgelegten Prüfungen die maximale Anzahl von zwölf Minus-Kreditnotenpunkten mit 34.25 Minus-Kreditnotenpunkten klar überschritten und das Assessmentjahr im zweiten Versuch nicht bestanden.
3.1.3. Der Beschwerdeführer kritisiert nicht die Bewertung seiner Leistungen an sich. Indessen macht er - wie bereits im vorinstanzlichen Verfahren - geltend, am 11. April 2017, d.h. rund fünf Wochen vor Erlass der Notenverfügung vom 18. Mai 2017, online ein Gesuch um Reimmatrikulation für das Herbstsemester 2017 an der Universität St. Gallen gestellt zu haben. Folglich sei die Notenverfügung vom 18. Mai 2017 und die damit verbundene Studiensperre zu Unrecht ergangen. Mit diesem Punkt hat sich die Vorinstanz jedoch befasst und ist zum Schluss gekommen, dass das behauptete, aber nicht belegte Reimmatrikulationsgesuch vom 11. April 2017 nichts daran ändere, dass der Beschwerdeführer nach dem zweimaligen Nichtbestehen des Assessmentjahres nicht mehr zu einem Studium an der Universität St. Gallen zugelassen werden könne, wobei sie auf die Vernehmlassung der Rekurskommission vom 4. Juli 2017 verweist. Dort wird ausgeführt, der Beschwerdeführer gehe offenbar von der irrigen Annahme aus, sein Gesuch um Reimmatrikulation für das Herbstsemester 2017 hätte rechtsgültig verhindern können, dass ihm trotz des (zweimaligen) Nichtbestehens des Assessmentjahres die Studienberechtigung an der Universität St. Gallen endgültig entzogen würde. Den Verlust der Studienberechtigung habe sich der Beschwerdeführer jedoch selbst zuzuschreiben, weil er im zweiten Versuch die Maximalzahl der erlaubten Minus-Kreditnotenpunkte überschritten habe. Dies gelte ungeachtet des Zeitpunktes, zu dem ihm der Studiensekretär die Notenergebnisse mitgeteilt habe.
3.1.4. Wenn die Vorinstanz im Lichte dieser Ausführungen und mit Blick auf die Studienvorgaben zur Auffassung gelangt, dass es dem Rekurs an den erforderlichen Erfolgsaussichten fehle, ist dies nicht zu beanstanden, zumal der Beschwerdeführer den Ausführungen des Verwaltungsgerichts nichts Substanzielles entgegenzusetzen vermag. Er macht im Wesentlichen geltend, seine Beschwerde sei nicht aussichtlos, weil die Umstände beim Erlass seiner Notenverfügung wesentlich anders gewesen seien als bei anderen Prüfungsteilnehmern, sei ihm doch die Notenverfügung nicht zum gleichen Zeitpunkt wie den anderen Studierenden eröffnet worden. Damit lässt sich jedoch die behauptete Willkür nicht dartun. Seine weitgehend appellatorischen Vorbringen werden den strengen Begründungsanforderungen an Willkürrügen (vorne E. 2.2) kaum gerecht. Soweit überhaupt darauf eingetreten werden kann, erweist sich seine Rüge als offensichtlich unbegründet.
3.2. Dasselbe gilt für die Rüge betreffend das rechtliche Gehör. Wie bereits vor Verwaltungsgericht moniert der Beschwerdeführer, dass er keine Möglichkeit zur Prüfungseinsicht erhalten habe. Auch zu diesem Punkt hat sich die Vorinstanz geäussert und dargelegt, dass weder ein rechtsgenüglicher Nachweis für die Verweigerung der Prüfungseinsicht vorliege noch dafür, dass der Beschwerdeführer ein entsprechendes Einsichtsbegehren bei den verantwortlichen Dozierenden gestellt habe. Mit diesen Erwägungen setzt sich der Beschwerdeführer nicht wirklich auseinander. Seine wiederum weitgehend appellatorische Argumentation ist nicht geeignet, um die Auffassung der Vorinstanz in Bezug auf die Aussichtslosigkeit des Rekurses zu entkräften.
3.3. Nach dem Gesagten ist weder dargetan noch ersichtlich, inwiefern der angefochtene Entscheid Bundesrecht verletzen sollte.
3.4. Aufgrund dieser Sachlage ist das auch im bundesgerichtlichen Verfahren gestellte Gesuch um unentgeltliche Rechtspflege wegen Aussichtslosigkeit abzuweisen (vgl. Art. 64 Abs. 1 BGG). Damit würde der Beschwerdeführer kostenpflichtig (Art. 66 Abs. 1 BGG). Angesichts seiner finanziellen Verhältnisse erscheint es jedoch gerechtfertigt, auf die Erhebung von Kosten zu verzichten (Art. 66 Abs. 1 zweiter Satz und Art. 65 Abs. 2 BGG). Auf die Zusprechung einer Parteientschädigung besteht kein Anspruch (Art. 68 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Das Gesuch um unentgeltliche Rechtspflege für das bundesgerichtliche Verfahren wird abgewiesen.
3.
Es werden keine Gerichtskosten erhoben.
4.
Dieses Urteil wird den Verfahrensbeteiligten und dem Verwaltungsgericht des Kantons St. Gallen, Abteilung III, schriftlich mitgeteilt.
Lausanne, 10. Januar 2018
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Die Gerichtsschreiberin: Petry