Faits :
A.
A._, ressortissant du Monténégro, célibataire et sans domicile fixe, a été extradé le 19 février 2016 de Belgique sur la base d'un mandat d'arrêt international délivré par les autorités judiciaires genevoises.
Le même jour, le Ministère public l'a mis en prévention du chef de brigandage en bande et par métier (art. 140 ch. 1 et 3 CP) pour avoir, le 12 août 2002, de concert avec un comparse, fait irruption dans une bijouterie à Genève, en criant qu'il s'agissait d'un hold-up et menaçant les vendeuses présentes avec un tournevis et un spray lacrymogène avant de briser des vitrines avec un marteau et d'emporter un lot de bijoux d'une valeur globale de 4'442'792 fr., étant précisé que le prévenu appartient à une bande organisée qui commet des brigandages dans toute l'Europe. Le prévenu a reconnu les faits reprochés. Son ADN ainsi que son empreinte digitale ont également été retrouvés sur des objets se trouvant dans un sac abandonné dans la bijouterie.
Par ordonnance du 21 février 2016, le TMC, faisant droit à la demande du Ministère public, a ordonné la mise en détention provisoire de A._ jusqu'au 21 mai 2016 en raison de charges suffisantes ainsi que des dangers de fuite et de réitération.
Entendu par la police judiciaire le 23 février 2016, le prévenu a reconnu son implication dans deux autres brigandages perpétrés à Genève le 15 janvier 2003 et le 21 avril 2004. Un mandat d'arrêt complémentaire a été établi afin d'étendre la poursuite en Suisse à ces faits.
Selon les déclarations du recourant, il aurait été condamné en 1998 au Monténégro à une peine privative de liberté d'un an et demi pour tentative de meurtre, peine qu'il n'aurait pas encore exécutée. Il est en outre établi que le prévenu a été condamné:
- en 2005 en Belgique à une peine de 8 ans de réclusion pour brigandage;
- en 2006 en France à une peine de 9 ans de réclusion pour brigandage;
- en 2009 en Allemagne à une peine de 7 ans de réclusion pour brigandage;
- en 2012 en Belgique à une peine de 2 ans pour instigation à prise d'otage et à évasion.
Le prévenu a été arrêté en France le 18 mai 2004; il a été détenu en France, en Allemagne et en Belgique. Il a exécuté les peines prononcées en Belgique ainsi que, vraisemblablement, en France.
Par courrier du 6 avril 2016, adressé au Ministère public, le prévenu a sollicité le classement de la procédure et sa mise en liberté immédiate et sans conditions, aucune peine complémentaire ne pouvant, selon lui, lui être infligée (<ref-law> et 49 al. 2 CP).
B.
Le 8 avril 2016, le Ministère public a refusé la mise en liberté du prévenu. En l'état de l'instruction, les différentes condamnations n'étaient pas encore toutes confirmées par les autorités des états concernés.
Par ordonnance du 12 avril 2016, le Tribunal des mesures de contrainte de la République et canton de Genève a refusé la mise en liberté du prévenu.
Par arrêt du 10 mai 2016, la Chambre pénale de recours de la Cour de justice de la République et canton de Genève a confirmé la mise en détention provisoire.
C.
Par acte du 26 mai 2016, A._ recourt contre cet arrêt auprès du Tribunal fédéral. Il conclut à l'annulation de l'arrêt cantonal, à sa mise en liberté immédiate et sans conditions, et se réserve le droit de réclamer une juste et équitable indemnité sur la base de l'<ref-law>. Subsidiairement, le recourant conclut à l'annulation de l'arrêt cantonal et au renvoi de la cause à la Cour de justice pour nouvelle décision dans le sens des considérants. Le recourant demande en outre à être mis au bénéfice de l'assistance judiciaire.
La cour cantonale se réfère aux considérants de son arrêt. Le Ministère public se réfère à la décision entreprise et conclut au rejet du recours. Le recourant réplique et persiste dans ses conclusions.

Considérant en droit :
1.
Le recours en matière pénale (<ref-law>) est ouvert contre les décisions relatives à la détention provisoire ou pour des motifs de sûreté au sens des <ref-law>. Le recours a été formé à l'échéance du délai fixé à l'<ref-law> contre une décision prise en dernière instance cantonale (<ref-law> et 80 LTF). L'arrêt cantonal confirme le refus de libération de la détention provisoire du recourant, qui a qualité pour agir (art. 81 al. 1 let. a et b ch. 1 LTF). Les conclusions présentées sont recevables au regard de l'<ref-law>.
Il y a ainsi lieu d'entrer en matière sur le recours.
2.
Le recourant ne conteste pas les faits qui lui sont reprochés. Il considère en revanche qu'il n'encourt aucune peine. Vu le concours réel rétrospectif en cause, il serait seulement passible d'une peine complémentaire. Or, compte tenu du maximum légal de la peine privative de liberté, la peine complémentaire ne pourrait être qu'égale à zéro. Dans ces circonstances, la détention provisoire, puis pour des motifs de sûreté serait illicite.
2.1. Selon l'<ref-law>, lorsque le juge doit prononcer une condamnation pour une infraction que l'auteur a commise avant d'avoir été condamné pour une autre infraction, il fixe la peine complémentaire de sorte que l'auteur ne soit pas puni plus sévèrement que si les diverses infractions avaient fait l'objet d'un seul jugement. Cela nécessite d'apprécier la peine qui aurait été fixée si toutes les infractions avaient été jugées simultanément; ensuite, la peine complémentaire correspond à la différence entre cette peine hypothétique et la peine déjà prononcée (<ref-ruling> consid. 8.3 p. 105; <ref-ruling> consid. 1.1 p. 115 i.f.). La peine hypothétique est déterminée conformément à l'<ref-law>: si, en raison d'un ou de plusieurs actes, l'auteur remplit les conditions de plusieurs peines de même genre, le juge le condamne à la peine de l'infraction la plus grave et l'augmente dans une juste proportion. Il ne peut toutefois excéder de plus de la moitié le maximum de la peine prévue pour cette infraction. Il est en outre lié par le maximum légal de chaque genre de peine.
L'<ref-law> est en principe applicable en présence d'un jugement de condamnation prononcé à l'étranger, à la condition qu'il entre par la suite en force (<ref-ruling> consid. 8.3 p. 105; <ref-ruling> consid. 2c p. 108 s.).
En l'occurrence, recourant et autorités s'accordent sur le fait que la peine hypothétique ne pourrait pas dépasser 20 ans, à savoir le maximum légal de la peine privative de liberté (<ref-law>).
2.2. Il est établi que le recourant a été condamné, par des jugements entrés en force, à des peines totalisant 26 ans principalement pour des brigandages commis après les infractions en cause en l'espèce. Il est également établi que les peines prononcées par les autorités françaises et belges, soit 19 ans de réclusion (respectivement 9 ans et 8 + 2 ans), ont été exécutées.
La cour cantonale a toutefois considéré qu'il était décisif de savoir si les autorités judiciaires allemandes mettront à exécution le solde de la peine auquel le recourant a été condamné en Allemagne. On comprend de la motivation de l'arrêt attaqué que, constatant que la France avait refusé la confusion des peines belges, allemande et française, au motif que, en vertu de l'art. 3 ch. 3 de la décision-cadre 2008/675/JAI du Conseil de l'UE du 24 juillet 2008 relative à la prise en compte des décisions de condamnation entre les États membres de l'Union européenne à l'occasion d'une nouvelle procédure pénale (JO L 220 du 15 août 2008 p. 32), "une telle confusion mettrait en échec le droit des autorités judiciaires allemandes et belges de faire exécuter sur leur territoire, dans les conditions fixées par leur loi interne, la décision de condamnation émanant de leurs juridictions nationales", la cour cantonale a estimé qu'il subsistait un doute sur la mise en oeuvre de la peine en Allemagne. L'instruction n'étant pas terminée, il se justifiait de maintenir le recourant en détention provisoire.
2.3. Il est a priori douteux que le refus des autorités françaises de prononcer la confusion puisse avoir une incidence sur l'exécution effective de la peine allemande, la condamnation prononcée dans cet état tenant probablement déjà compte de la condamnation française, antérieure. Il est en outre également douteux que, lors de l'application de l'<ref-law>, il faille se référer aux modalités d'exécution de la peine - en l'occurrence la peine allemande - plutôt qu'à la condamnation elle-même. En effet, l'<ref-law> se réfère expressément aux condamnations, de sorte qu'en l'absence de circonstances justifiant une interprétation particulière de la disposition, on ne voit pas, a priori, pour quels motifs il faudrait se référer à l'exécution effective de la peine.
Cela étant, compte tenu de la proximité de l'audience de jugement, fixée au 1er juillet 2016, ces questions, complexes, qui nécessitent notamment une interprétation du droit communautaire, ne sauraient être tranchées par le juge de la détention. Il appartiendra en effet au juge du fond de déterminer si, dans le contexte particulier de condamnations prononcées à l'étranger, certaines devraient ne pas être prises en considération dans leur pleine mesure lors de l'application de l'<ref-law>.
Au stade de l'examen des conditions de la détention provisoire et pour des motifs de sûreté, il y a lieu de constater que, sur le plan interne, le recourant encourt effectivement une peine hypothétique pouvant aller jusqu'à 20 ans de privation de liberté. Les peines prononcées à l'étranger dépassent 19 ans et semblent aller jusqu'à 26 ans. Bien que cela laisse peu de place à une peine complémentaire, il n'est pas exclu que les circonstances très particulières du cas d'espèce doivent donner lieu à une prise en considération nuancée des autres condamnations. Le tribunal constate en outre que la durée effective de l'exécution des peines belges et française (d'un total de 19 ans) est de 12 ans.
Aussi, vu par ailleurs le nombre et la nature des infractions en cause, il n'est pas manifeste, en l'état, que la détention provisoire du recourant - qui, s'il devait être libéré par les autorités suisses, serait vraisemblablement extradé vers l'Allemagne pour une nouvelle exécution de peine - soit contraire à l'<ref-law>. Il n'apparaît en effet pas que la détention provisoire puis à titre de sûreté conduise à ce que le recourant serait puni plus sévèrement que si les diverses infractions avaient fait l'objet d'un seul jugement en Suisse.
3.
Il résulte de ce qui précède que le recours doit être rejeté.
Le recourant a demandé l'assistance judiciaire et les conditions en paraissent réunies (<ref-law>). Il y a lieu de désigner Me Delphine Jobin en qualité d'avocate d'office pour la présente procédure fédérale et de fixer ses honoraires, qui seront supportés par la caisse du Tribunal fédéral (<ref-law>). Le recourant est en outre dispensé des frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
La requête d'assistance judiciaire est admise; Me Delphine Jobin est désignée comme avocate d'office du recourant et une indemnité de 2'000 fr. lui est allouée à titre d'honoraires, à payer par la caisse du Tribunal fédéral. Il n'est pas perçu de frais judiciaires.
3.
Le présent arrêt est communiqué à la mandataire du recourant, au Ministère public de la République et canton de Genève et à la Cour de justice de la République et canton de Genève, Chambre pénale de recours.
Lausanne, le 21 juin 2016
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Fonjallaz
La Greffière : Sidi-Ali