Faits :
A.
A.a. Par jugement du 24 août 2018, le Tribunal correctionnel de la République et canton de Genève a condamné X._ pour brigandage (<ref-law>), injure (<ref-law>) et faux dans les certificats (<ref-law>) à une peine privative de liberté de 5 ans, sous déduction de 830 jours de détention avant jugement, l'intéressé ayant été placé en exécution anticipée de peine depuis le 24 janvier 2018.
Ce jugement n'a pas fait l'objet d'un appel, de sorte qu'il a acquis force exécutoire.
A.b. Le 29 août 2018, alors que X._ était incarcéré depuis le 21 mars 2018 à l'Etablissement de la Brenaz, un établissement fermé dédié à l'exécution des peines, le Service d'application des peines et mesures (SAPEM) a été informé par le Ministère public d'un risque crédible et important d'évasion. En l'absence de place immédiatement disponible dans le secteur fermé d'un autre établissement concordataire d'exécution de peine, le SAPEM a ordonné le transfert de l'intéressé à la Prison de Champ-Dollon, établissement réservé principalement aux prévenus placés en détention provisoire.
Par décision du 10 septembre 2018, le SAPEM a confirmé le transfert de X._ à la Prison de Champ-Dollon, qui était effectif depuis le 30 août 2018.
B.
Par arrêt du 26 octobre 2018, la Chambre pénale de recours de la Cour de justice de la République et canton de Genève a rejeté le recours formé par X._ contre la décision du 10 septembre 2018.
C.
X._ forme un recours en matière pénale au Tribunal fédéral contre cet arrêt. Il conclut, avec suite de frais et dépens, à son transfert immédiat dans un établissement destiné à l'exécution des peines ainsi qu'à la constatation de la violation de l'art. 8 CEDH et des art. 10 al. 2, 29 et 36 Cst. Il sollicite en outre le bénéfice de l'assistance judiciaire.

Considérant en droit :
1.
Le recours en matière pénale est ouvert à l'encontre des décisions concernant l'exécution de peines et de mesures (<ref-law>). La recevabilité du recours suppose toutefois que le recourant fasse valoir qu'il dispose d'un intérêt juridique à l'annulation ou à la modification de la décision attaquée (<ref-law>); un intérêt général ou de fait est insuffisant (<ref-ruling> consid. 2.3 p. 230 s.).
Au stade de la recevabilité, le recourant explique que la décision de transfert entraîne une limitation importante de sa liberté personnelle et un obstacle à ses liens familiaux. Il invoque en ce sens une restriction disproportionnée de son droit à la liberté personnelle (art. 10 al. 2 et 36 Cst.) ainsi qu'une violation de son droit au respect de la vie privée et familiale (art. 8 CEDH). Dans cette mesure, celui-ci se prévaut d'un intérêt juridiquement protégé.
Pour le surplus, en tant que le recourant discute le bien-fondé des motifs de la décision entreprise sans faire valoir de griefs liés à un intérêt juridiquement protégé, ses critiques sont irrecevables. Ainsi, dans la mesure où le détenu n'a pas, en principe, le droit de choisir le lieu de l'exécution de la sanction (arrêts 6B_80/2014 du 20 mars 2014 consid. 1.2; 6B_530/2012 du 19 décembre 2012 consid. 1; 6B_602/2012 du 18 décembre 2012 consid. 1; 6B_660/2011 du 23 février 2012 consid. 1.2), il n'y a pas matière à examiner si l'apparition d'un risque accru d'évasion justifiait le changement de lieu d'exécution de la sanction.
2.
Le recourant fait valoir que son transfert à la prison de Champ-Dollon avait pour conséquence une augmentation disproportionnée des restrictions à sa liberté personnelle, dès lors qu'il ne peut plus passer d'appels téléphoniques, qu'il n'a plus de place de travail et qu'il subit davantage de détention cellulaire.
2.1. Aux termes de l'art. 10 al. 2 Cst., tout être humain a droit à la liberté personnelle, notamment à l'intégrité physique et psychique et à la liberté de mouvement.
A l'instar de tout autre droit fondamental, la liberté personnelle n'a pas une valeur absolue. Conformément à l'art. 36 Cst., une restriction de cette garantie est admissible, si elle repose sur une base légale, qui, en cas d'atteinte grave, doit être prévue dans une loi au sens formel (al. 1), si elle est justifiée par un intérêt public ou par la protection d'un droit fondamental d'autrui (al. 2) et si elle respecte le principe de la proportionnalité (al. 3), sans violer l'essence du droit en question (al. 4; <ref-ruling> consid. 3.6 p. 175; <ref-ruling> consid. 4.4.4 p. 205).
L'<ref-law> prévoit que le détenu et la personne exécutant une mesure ont droit au respect de leur dignité, l'exercice de leurs droits ne pouvant être restreint que dans la mesure requise par la privation de liberté et par les exigences de la vie collective dans l'établissement. Les restrictions imposées doivent ainsi s'inscrire dans le respect du principe de la proportionnalité et ne sauraient donc aller au-delà de ce qui est nécessaire au but de l'incarcération et au fonctionnement normal de l'établissement de détention (<ref-ruling> consid. 4c p. 340; <ref-ruling> consid. 2b p. 172). Au surplus, les restrictions à la liberté personnelle des détenus qui découlent des conditions de détention peuvent figurer dans une loi au sens matériel, à savoir un règlement de prison, car ces personnes sont liées à l'Etat par un rapport de droit spécial (<ref-ruling> consid. 2b p. 205 s.; <ref-ruling> consid. I/4a p. 226). Le règlement de prison doit satisfaire à des exigences minimales de clarté et de précision, afin d'assurer aux détenus une protection suffisante contre l'arbitraire ou d'autres violations de leurs droits fondamentaux (ATF <ref-ruling> consid. 4a p. 226; plus récemment : arrêt 6B_1179/2015 du 4 août 2016 consid. 5.2).
2.2. La cour cantonale a d'abord constaté que le règlement cantonal sur le régime intérieur de la Prison de Champ-Dollon et le statut des personnes incarcérées (RRIP; RS/GE F 1 50.04) n'excluait pas la détention du recourant dans cet établissement. En effet, si la prison est réservée aux personnes placées en détention préventive (art. 1 al. 1 RRIP) et si elle reçoit également des personnes condamnées à des peines de 3 mois au plus (art. 1 al. 2 let. a RRIP), l'art. 1 al. 3 RRIP prévoit qu'exceptionnellement, d'autres personnes condamnées peuvent y être accueillies.
Ayant ensuite procédé à un examen des conditions de détention en vigueur dans chacun des établissements concernés en se fondant sur le RRIP et sur le règlement relatif aux établissements ouverts ou fermés d'exécution des peines et des sanctions disciplinaires (REPSD; RS/GE F 1 50.08), la cour cantonale a estimé que ces conditions étaient similaires s'agissant des promenades, des visites et des correspondances autorisées, seul le droit d'accès au téléphone - plus large à l'Etablissement de la Brenaz - étant différent.
2.3. Le recourant ne prétend pas que la cour cantonale a appliqué de manière arbitraire les dispositions cantonales régissant les conditions de détention. Il n'est ainsi pas établi que le recourant a subi, à la Prison de Champ-Dollon, un temps plus important en détention cellulaire. En outre, contrairement à ce que sous-entend le recourant, la cour cantonale ne retient pas une suppression, mais uniquement une diminution du droit d'accès au téléphone (cf. arrêt entrepris, consid. 4.4 p. 7).
Cela étant, on ne saurait considérer qu'à elle seule, cette diminution constitue une restriction disproportionnée à la liberté personnelle garantie par l'art. 10 al. 2 Cst., étant observé qu'une telle limitation se justifie en l'espèce par des motifs de sécurité, dès lors que le SAPEM avait été informé d'un risque " crédible et important " d'évasion. Peu importe à cet égard que, comme le soutient le recourant, les pièces au dossier ne permettraient pas de déterminer si ce risque peut être qualifié de concret ou seulement d'abstrait. Il s'ensuit que ses développements à ce sujet sont sans pertinence.
2.4. Si le recourant se plaint que son transfert a également eu pour conséquence la perte de la possibilité de travailler, on observe que l'art. 51 al. 1 RRIP prévoit, sauf ordre contraire de l'autorité compétente, la possibilité pour le détenu d'être affecté, sur demande, à un travail dans les ateliers ou les services généraux de l'établissement ou en cellule, sous réserve des possibilités existantes. Or, l'intéressé ne démontre pas avoir formulé une telle demande à la direction de la Prison de Champ-Dollon, qui, par hypothèse, lui aurait été refusée. C'est dès lors en vain qu'il se prévaut d'un déni de justice (art. 29 al. 1 Cst.) en reprochant à la cour cantonale de ne pas avoir instruit le fait que son transfert impliquait une perte de la possibilité de travailler.
Au demeurant, si l'<ref-law> dispose que le détenu est astreint au travail, il n'apparaît pas que cette disposition ait de lege lata pour corollaire le droit pour le détenu d'exiger un travail (cf. à ce sujet ANDREA BAECHTOLD ET AL., Strafvollzug, 3 e éd., p. 162 ss; NICOLAS QUELOZ, " Astreinte " ou " droit " au travail en prison ?, in L'Homme et son droit, Mélanges en l'honneur du Prof. Marco Borghi, Fribourg 2011, p. 450). Le recourant ne démontre pas non plus en quoi il pourrait déduire un tel droit de dispositions constitutionnelles ou conventionnelles, si bien que, sur ce point précis, il n'établit pas disposer d'un intérêt juridiquement protégé (cf. <ref-law>).
2.5. Enfin, en tant que le recourant se plaint que son incarcération à la Prison de Champ-Dollon, supposée transitoire, dure depuis près de trois mois, il ne prétend pas pour autant que celle-ci compromette son plan d'exécution de peine (cf. <ref-law>).
Le grief doit dès lors être rejeté dans la mesure de sa recevabilité.
3.
Sous l'angle de l'art. 8 CEDH, qui lui confère le droit au respect de sa vie privée et familiale, le recourant se plaint de ne plus pouvoir entretenir de contacts directs avec sa famille, qui vit en France et qui ne peut pas lui rendre visite en raison de la distance.
3.1. Dans sa jurisprudence, la CourEDH a considéré qu'il était essentiel au respect de la vie familiale que l'administration pénitentiaire autorise ou, le cas échéant, aide le détenu à maintenir le contact avec sa famille proche. Elle admet toutefois que certaines mesures visant à contrôler les contacts des détenus avec le monde extérieur sont nécessaires et non incompatibles en soi avec la CEDH (cf. parmi d'autres : arrêt Aliev c. Ukraine du 29 avril 2003, § 187). Pareilles mesures peuvent notamment comprendre la limitation du nombre de visites et la surveillance de ces visites (arrêts Hagyo c. Hongrie du 23 avril 2013, § 84; Khoroshenko c. Russie du 30 juin 2015, § 123).
Sous l'angle de la protection de la sphère privée et familiale, la CEDH ne garantit pas aux détenus le droit de choisir leur lieu de détention. La séparation et l'éloignement du détenu de sa famille constituent des conséquences inévitables de la détention. Ce n'est que dans des conditions exceptionnelles que le fait de détenir une personne dans une prison éloignée de sa famille à tel point que toute visite se révèle très difficile, voire impossible, peut constituer une ingérence dans la vie familiale du détenu (arrêt de la CourEDH Selmani c. Suisse du 28 juin 2001, Recueil CourEDH 2001-VII p. 459 ss). L'<ref-law> qui consacre le droit de recevoir des visites et d'entretenir des relations personnelles avec le monde extérieur n'accorde pas sous cet angle une protection plus étendue que le droit conventionnel et constitutionnel (arrêt 6B_80/2014 précité consid. 1.3).
3.2. Le recourant n'explique pas en quoi, malgré la distance alléguée, son transfert rendrait excessivement difficile des visites de sa famille, étant rappelé que le régime des visites est similaire dans les deux établissements, qui sont situés tous deux dans le canton de Genève. Il n'apparaît pas non plus que la diminution du nombre d'appels téléphoniques autorisés, consécutive à un transfert motivé par des raisons de sécurité, rendrait pour autant impossible tout contact direct avec sa famille. Dans ces circonstances, on ne saurait discerner une violation de l'art. 8 CEDH.
Pour le surplus, il ressort de l'arrêt entrepris que le recourant a formulé une demande de transfèrement vers la France, de sorte que c'est dans ce contexte qu'il pourra être examiné si son incarcération dans son pays d'origine se justifie afin de favoriser sa réinsertion sociale.
4.
Il s'ensuit que le recours doit être rejeté dans la mesure où il est recevable. Comme les conclusions du recourant étaient vouées à l'échec, l'assistance judiciaire ne peut être accordée (<ref-law>). Le recourant devra supporter les frais judiciaires (<ref-law>), dont le montant sera toutefois fixé en tenant compte de sa situation financière, laquelle n'apparaît pas favorable (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour de justice de la République et canton de Genève, Chambre pénale de recours.
Lausanne, le 14 janvier 2019
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
Le Greffier : Tinguely