Sachverhalt:
A.
Das Kreisgericht Werdenberg-Sarganserland sprach X._ am 4. März 2015 schuldig des Diebstahls und des Versuchs dazu, des mehrfachen Hausfriedensbruchs sowie des rechtswidrigen Aufenthalts in der Schweiz. Es verurteilte ihn zu einer Freiheitsstrafe von 6 Monaten unter Anrechnung der erstandenen Untersuchungshaft von 2 Tagen sowie der ausländerrechtlichen Haft von 152 Tagen.
Das Kantonsgericht St. Gallen gelangte am 26. August 2016 zu denselben Schuldsprüchen und verurteilte X._ebenfalls zu einer Freiheitsstrafe von 6 Monaten, wobei es lediglich die Untersuchungshaft von 2 Tagen anrechnete.
B.
X._ führt Beschwerde in Strafsachen mit dem Antrag, der Entscheid des Kantonsgerichts St. Gallen vom 26. August 2016 sei hinsichtlich der alleinigen Anrechnung von 2 Tagen Untersuchungshaft aufzuheben. Stattdessen seien an den Vollzug der Freiheitsstrafe von 6 Monaten zusätzlich seine ausländerrechtliche Haft vom 23. Mai 2014 bis 22. Oktober 2014 (153 Tage) sowie seine Untersuchungshaft in der Strafuntersuchung der Staatsanwaltschaft des Kantons Appenzell Innerrhoden (ST.2015.281) vom 31. August 2015 bis 13. November 2015 (75 Tage) anzurechnen. Eventualiter sei der angefochtene Entscheid im erwähnten Punkt aufzuheben und die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. X._ ersucht um unentgeltliche Rechtspflege.

Erwägungen:
1.
1.1. Der Beschwerdeführer rügt eine Verletzung von Art. 51 StGB i.V.m. Art. 110 Abs. 7 StGB, indem die Vorinstanz im angefochtenen Entscheid weder seine Untersuchungshaft von 75 Tagen aus der Strafuntersuchung der Staatsanwaltschaft des Kantons Appenzell Innerrhoden, noch seine ausländerrechtliche Haft von 153 Tagen an die Freiheitsstrafe von 6 Monaten anrechne.
1.2. Das Gericht rechnet die Untersuchungshaft, die der Täter während dieses oder eines anderen Verfahrens ausgestanden hat, auf die Strafe an (Art. 51 StGB). Als Untersuchungshaft gilt jede in einem Strafverfahren verhängte Haft, Untersuchungs-, Sicherheits- und Auslieferungshaft (Art. 110 Abs. 7 StGB).
1.3.
1.3.1. Bezüglich der verlangten Anrechnung der ausgestandenen ausländerrechtlichen Haft argumentiert der Beschwerdeführer mit Verweis auf <ref-ruling> E. 2b, nach der bundesgerichtlichen Rechtsprechung sei Ausschaffungshaft auf die Freiheitsstrafe jedenfalls dann anzurechnen, wenn der Beschuldigte, hätte er sich nicht in Ausschaffungshaft befunden, in Untersuchungshaft genommen worden wäre, also in einer Konstellation, wo konkurrierend die Voraussetzungen der Untersuchungshaft und der Ausschaffungshaft gegeben seien. Gleiches habe vorliegend für die Durchsetzungshaft zu gelten, zumal deren Anordnung faktisch anstelle der andernfalls wegen Flucht- und Wiederholungsgefahr anzuordnenden Untersuchungshaft erfolgt sei. Ausserdem entsprächen sich Ausschaffungs- und Durchsetzungshaft weitestgehend. Die nur leicht veränderten Voraussetzungen rechtfertigten jedenfalls keine Unterscheidung in Bezug auf die Anrechnung an den Vollzug einer Freiheitsstrafe.
1.3.2. Dieser Argumentation kann nicht gefolgt werden. Wie der Beschwerdeführer selbst ausführt, wurde er bereits mit Entscheid vom 1. Oktober 2008 aus der Schweiz weggewiesen, wobei diese Wegweisung mit Beschluss des Regierungsrates des Kantons Zürich vom 4. Dezember 2012 Rechtskraft erlangte. Nach seiner Entlassung aus dem Strafvollzug im Juni 2013 liess er die ihm angesetzte Ausreisefrist bis am 29. Juni 2013 ungenutzt verstreichen. Auf sein Gesuch um Familiennachzug wurde im September 2013 rechtskräftig nicht eingetreten. Damit war er im Zeitpunkt seiner Überführung von der Untersuchungshaft in die Durchsetzungshaft rechtskräftig aus der Schweiz weggewiesen und ohne erneuten Anspruch auf Verbleib (vgl. Beschwerde, S. 6). Seine unmittelbar im Anschluss an die Untersuchungshaft veranlasste Versetzung in Durchsetzungshaft geschah demnach gestützt auf einen vom aktuellen Strafverfahren vollkommen unabhängigen früheren, inzwischen rechtskräftigen Rechtstitel. Da die Anordnung der Durchsetzungshaft im konkreten Fall somit ohne jeglichen Zusammenhang mit dem vorliegenden Strafverfahren erfolgte, kann sie nicht mit Untersuchungshaft im Sinne von Art. 110 Abs. 7 StGB gleichgesetzt werden. Infolgedessen gelangt die Vorinstanz zutreffend zum Schluss, dass die ausländerrechtliche Durchsetzungshaft vom 23. Mai bis 22. Oktober 2014 unter den gegebenen Umständen nicht auf die Freiheitsstrafe von 6 Monaten anzurechnen ist.
Die Prüfung, ob im Zeitpunkt seiner Versetzung in Durchsetzungshaft allenfalls auch Gründe für die Anordnung von Untersuchungshaft bestanden hätten, erübrigt sich vor diesem Hintergrund ebenso wie das Eingehen auf die entsprechenden Ausführungen des Beschwerdeführers.
1.4. Dass die Vorinstanz die Untersuchungshaft des Beschwerdeführers vom 31. August 2015 bis 13. November 2015 im Rahmen der Strafuntersuchung der Staatsanwaltschaft des Kantons Appenzell Innerrhoden (ST.2015.281) nicht an die von ihr ausgesprochene Freiheitsstrafe anrechnet, bedeutet ebenfalls keine Verletzung von Bundesrecht. Zwar ist gestützt auf Art. 51 StGB auch die Untersuchungshaft aus einem anderen Verfahren anrechenbar und gilt der Grundsatz, dass zu entziehende Freiheit wenn immer möglich mit bereits entzogener Freiheit zu kompensieren ist (<ref-ruling> E. 5.1 S. 155 mit Hinweisen). Dass aber die Haft aus einem parallel laufenden Verfahren anzurechnen sei, lässt sich aus dem Sinn und Zweck von Art. 51 StGB nicht herleiten (Urteil 6B_1036/2009 vom 23. April 2010 E. 2 mit Verweis auf <ref-ruling> E. 5.1 S. 154). Allein aus Gründen der Praktikabilität kann mit der fraglichen Bestimmung nicht gemeint sein, dass ein Gericht an die von ihm ausgesprochene Strafe Untersuchungshaft anzurechnen hat, die in einem späteren, noch hängigen (und nicht mehr mit dem ersten zu vereinigenden) Verfahren angeordnet wurde. Einerseits kann diese Untersuchungshaft im Urteilszeitpunkt noch für unbestimmte Zeit andauern, andererseits kann sie die Höhe der aktuell zu verhängenden Strafe übersteigen, womit unklar wäre, wie mit der vorläufig bestehenden Überhaft zu verfahren ist. Aus diesen Gründen obliegt es dem im zweiten Verfahren zuständigen Gericht und nicht der Vorinstanz, dafür zu sorgen, dass Art. 51 StGB entsprochen und die fragliche Untersuchungshaft entweder an die neu auszusprechende Strafe oder allenfalls, soweit noch möglich, an die im vorliegenden Verfahren verhängte Freiheitsstrafe von 6 Monaten angerechnet wird. Hierfür spricht auch ein Blick auf die bundesgerichtliche Rechtsprechung, in der es stets darum ging, dass in einem späteren Verfahren die in diesem angeordnete Untersuchungshaft auf Strafen oder Strafreste aus früheren Verfahren anzurechnen war (vgl. <ref-ruling> E. 5.2.3; Urteile 6B_983/2013 vom 24. Februar 2014 E. 6; 6B_346/2009 vom 16. Juni 2009 E. 1; 6S.421/2005 vom 23. März 2005 E. 3.2.4).
2.
Die Beschwerde ist abzuweisen. Von einer Bedürftigkeit des Beschwerdeführers ist mangels rechtmässigem Aufenthalt in der Schweiz auszugehen. Fraglich ist, ob das Gesuch um unentgeltliche Rechtspflege nicht wegen Aussichtslosigkeit abzuweisen ist (Art. 29 Abs. 3 BV; Art. 64 Abs. 1 BGG; vgl. <ref-ruling> E. 5.1 mit Hinweisen). Angesichts konträrer kantonaler Entscheidungen erscheint die Beschwerdeführung wohl als vertretbar. Es sind daher keine Gerichtskosten aufzuerlegen und der Beschwerdeführer ist aus der Bundesgerichtskasse zu entschädigen (Art. 64 BGG). Die Entschädigung ist praxisgemäss seinem Rechtsvertreter auszurichten.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Das Gesuch um unentgeltliche Rechtspflege wird gutgeheissen.
3.
Es werden keine Gerichtskosten erhoben.
4.
Rechtsanwalt Ruadi Thöni wird aus der Bundesgerichtskasse mit Fr. 3'000.-- entschädigt.
5.
Dieses Urteil wird den Parteien und dem Kantonsgericht St. Gallen, Strafkammer, schriftlich mitgeteilt.
Lausanne, 3. Februar 2017
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Denys
Die Gerichtsschreiberin: Siegenthaler