Sachverhalt: A. A._ (geb. 1982) ist tunesischer Staatsangehöriger und reiste im September 2012 illegal in die Schweiz ein. Am 6. September 2012 stellte er ein Asylgesuch, auf welches das Staatssekretariat für Migration (SEM, damals Bundesamt für Migration BFM) mit Entscheid vom 26. November 2012 nicht eintrat, weil die Zuständigkeit für die Durchführung des Asylverfahrens bei Italien lag. Mit Urteil vom 1. Oktober 2013 sprach das Strafgericht Basel-Landschaft A._ des gewerbsmässigen und bandenmässigen Diebstahls, der mehrfachen Sachbeschädigung sowie der Geldwäscherei schuldig und verurteilte ihn unter Anrechnung von seit dem 21. November 2012 ausgestandenen 159 Tagen Untersuchungshaft zu einer Freiheitsstrafe von 3 1/2 Jahren mit effektivem Strafende am 20. Mai 2016. Da A._ nicht fristgerecht nach Italien überstellt wurde, verfügte das SEM am 15. Januar 2014 die Aufhebung des asylrechtlichen Nichteintretensentscheids vom 26. November 2012 und die Wiederaufnahme des Asylverfahrens. Mit Entscheid vom 14. Februar 2014 lehnte es das Asylgesuch von A._ ab und wies ihn aus der Schweiz weg. Mit dem Wegweisungsvollzug beauftragte das SEM den Kanton Basel-Landschaft. Auf Gesuch von A._ bewilligte die Sicherheitsdirektion des Kantons Basel-Landschaft mit Verfügung vom 9. Februar 2015 seine bedingte Entlassung aus dem Strafvollzug per 20. März 2015, "sofern [...] die Ausschaffung durch das Amt für Migration Basel-Landschaft zu diesem Zeitpunkt vollzogen werden kann. Der Strafrest richtet sich nach dem effektiven Datum der bedingten Entlassung, bzw. dem Ausschaffungsdatum. A._ bleibt bis zum Zeitpunkt der Ausschaffung im Strafvollzug." B. Mit Haftbefehl vom 20. Mai 2016 nahm das Amt für Migration des Kantons Basel-Landschaft A._ in Ausschaffungshaft und beantragte dem Kantonsgericht Basel-Landschaft die Anordnung von Ausschaffungshaft zur Sicherstellung der Durchführung des Wegweisungsverfahrens. Am 24. Mai 2016 bestätigte das Kantonsgericht die Anordnung der Ausschaffungshaft bis zum 19. August 2016. C. A._ führt mit Eingabe vom 20. Juni 2016 Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht. Er beantragt die Aufhebung des Urteils vom 24. Mai 2016 und seine sofortige Entlassung aus der Haft. Weiter verlangt er eine Entschädigung für widerrechtlich ausgestandene Ausschaffungshaft zulasten des Kantons Basel-Landschaft. Während das Kantonsgericht auf eine Stellungnahme verzichtet, verweist das SEM auf die Ausführungen im vorinstanzlichen Urteil. Das Amt für Migration schliesst sinngemäss auf Abweisung der Beschwerde. Mit Eingabe vom 5. Juli 2016 hält der Beschwerdeführer an seinen Anträgen und der Begründung fest.