Faits : A. A._, ressortissant tunisien né en 1988, était au bénéfice d'une autorisation de séjour en Suisse. Entre 2007 et 2017, il a été condamné à plusieurs reprises, dont une fois en 2007 à deux ans de peine privative de liberté pour diverses infractions, notamment pour vol par métier et en bande, ainsi que pour escroquerie, et une fois en 2017 à cinq ans de peine privative de liberté pour avoir en particulier commis une tentative de meurtre. Par décision du 5 mars 2019, confirmée sur opposition le 14 novembre 2019, le Service de la population de la République et canton du Jura (ci-après: le Service de la population) a refusé de prolonger l'autorisation de séjour de l'intéressé. Ce prononcé a été confirmé sur recours le 6 avril 2020 par la Cour administrative du Tribunal cantonal de la République et canton du Jura (ci-après: le Tribunal cantonal). Cet arrêt est entré en force. Le 10 octobre 2020, A._ a été libéré de sa détention pénale. B. Par décision du 25 septembre 2020, le Service de la population a ordonné la mise en détention administrative d'A._ jusqu'au 31 mars 2021 en vue du renvoi de celui-ci en Tunisie, avec effet au 10 octobre 2020. Dans une décision du 29 septembre 2020, le Tribunal administratif de première instance de la République et canton du Jura (ci-après: le Tribunal administratif de première instance), après avoir entendu les parties, a reconnu la légalité et l'adéquation de cette mise en détention. A._ a contesté ce prononcé le 6 octobre 2020 auprès du Tribunal cantonal. Le Tribunal cantonal, par arrêt du 21 octobre 2020, a partiellement admis le recours en confirmant la mise en détention en vue du renvoi en Tunisie, mais en la limitant au 20 janvier 2021. Il l'a rejeté pour le surplus. C. Par acte du 19 novembre 2020, A._ demande au Tribunal fédéral, sous suite de frais et dépens, outre l'assistance judiciaire, d'annuler l'arrêt du Tribunal cantonal du 21 octobre 2020 et d'ordonner sa remise en liberté immédiate; subsidiairement de prononcer une mesure moins contraignante; plus subsidiairement de renvoyer la cause à l'autorité précédente pour nouvelle décision. Le Tribunal cantonal et le Secrétariat d'Etat aux migrations concluent au rejet du recours. Le Service de la population ne s'est pas déterminé. Dans des observations finales, A._ confirme ses conclusions et produit notamment un arrêt du Tribunal administratif fédéral rendu le 19 novembre 2020 en matière d'asile.