Faits : A. A.A._, de nationalité suédoise, et B.A._, de nationalité américaine (art. 105 al. 2 LTF), étaient domiciliés à Genève jusqu'au 31 août 2010, date à laquelle ils ont annoncé à l'Administration fiscale cantonale de la République et canton de Genève (ci-après: l'Administration fiscale) leur départ pour Paris. Dans leur déclaration fiscale 2010, remplie par une fiduciaire genevoise, les précités ont notamment demandé l'imputation forfaitaire d'impôt sur des rendements de capitaux taxés en Suède. L'impôt étranger non récupérable totalisait 78'957.09 fr., dont 48'969.45 fr. s'agissant de la valeur "C._". De 2013 à 2015, l'Administration fiscale a envoyé, à plusieurs reprises, des courriers aux contribuables à leur adresse à Genève, notamment pour des demandes de renseignements, auxquels ces derniers ont répondu partiellement. Par rappel du 27 août 2015 envoyé à leur adresse parisienne, l'Administration fiscale leur a réclamé des renseignements qu'elle n'avait pas encore reçus. B. Par bordereau daté du 12 octobre 2015, envoyé à leur adresse en France, elle les a taxés pour l'année fiscale 2010 en leur accordant l'imputation forfaitaire d'impôt à concurrence de 15'016.25 fr. Par lettre du 28 octobre 2015, les contribuables ont formé une réclamation à l'encontre du bordereau précité en sollicitant l'imputation forfaitaire d'impôt sur la valeur "C._". L'Administration fiscale a encore envoyé aux contribuables, à leur adresse française, des demandes de renseignements complémentaires et des rappels en date des 27 mai, 7 juillet et 5 septembre 2016. Les contribuables y ont répondu, indiquant leur adresse parisienne, par courriers des 22 juillet et 14 septembre 2016. Par décision datée du 20 mars 2017, envoyée à l'adresse parisienne des contribuables, l'Administration fiscale a rejeté leur réclamation, au motif que les documents qu'ils avaient remis ne laissaient pas clairement apparaître la retenue de l'impôt prélevé par la Suède sur le dividende "C._" échu en 2010. Par courrier du 18 mai 2017, le mandataire des contribuables a informé l'Administration fiscale qu'il les représentait, en joignant à son écrit une procuration datée du 15 mai 2017 et en la priant de bien vouloir lui fournir la date de notification de la décision précitée du 20 mars 2017, jointe en annexe (art. 105 al. 2 LTF). Selon les intéressés, une collaboratrice de l'Administration fiscale aurait indiqué à leur avocat, le 24 mai 2017, que la décision attaquée avait été expédiée par pli simple, le 16 mars 2017, mais qu'elle avait été postdatée au 20 mars. Par acte posté le 26 juin 2017, les contribuables, agissant par l'intermédiaire de leur représentant, ont interjeté recours devant le Tribunal administratif de première instance de la République et canton de Genève (ci-après: le Tribunal administratif de première instance) à l'encontre de la décision sur réclamation du 20 mars 2017, en précisant que le délai de recours n'avait commencé à courir qu'à réception de la décision attaquée par leur mandataire, le 26 mai 2017, et en ajoutant que l'envoi initial de cette décision violait les règles internationales et était nul. Par jugement du 7 janvier 2019, le Tribunal administratif de première instance a déclaré le recours du 26 juin 2017 irrecevable pour cause de tardiveté. C. Agissant par la voie du "recours de droit public", A.A._ et B.A._ demandent au Tribunal fédéral, sous suite de frais et dépens, principalement, d'annuler l'arrêt attaqué et de renvoyer la cause au Tribunal administratif de première instance, afin qu'il entre en matière sur leur recours du 26 juin 2017 et se prononce sur le fond du litige. Subsidiairement, ils requièrent le renvoi de la cause à l'autorité précédente pour instruction complémentaire et nouvel arrêt dans le sens des considérants. Le Tribunal administratif de première instance a renoncé à déposer des observations. L'Administration fiscale a conclu au rejet du recours. Le Secrétariat d'Etat aux questions financières internationales s'est prononcé dans un préavis sur l'application au cas d'espèce de l'art. 28bis de la Convention du 9 septembre 1966 entre la Suisse et la France en vue d'éliminer les doubles impositions en matière d'impôts sur le revenu et sur la fortune et de prévenir la fraude et l'évasion fiscales (ci-après: CDI CH-FR; RS 0.672.934.91) et a considéré que cette disposition n'était pas concernée par le présent cas. L'Administration fédérale des contributions s'est ralliée aux considérants de l'arrêt attaqué, ainsi qu'à la prise de position de l'Administration fiscale et a conclu au rejet du recours. Les recourants ont répliqué.