Faits :
A.
Durant les années 2006 à 2009, X._ (ci-après: le contribuable), domicilié en France, a exercé une activité lucrative dépendante à Genève soumise au régime de l'impôt à la source. Il est marié et père de trois enfants, nés respectivement en 1997, 1998 et 2005. Ces naissances étaient connues de la Centrale de compensation de la Caisse suisse de compensation, mais n'ont pas été portées à la connaissance de l'Office cantonal de la population du canton de Genève (devenu, depuis lors, l'Office cantonal de la population et des migrations du canton de Genève).
L'employeur de X._ a rempli des attestations-quittances concernant l'impôt à la source pour les années 2006, 2007, 2008 et 2009. L'attestation-quittance remise le 31 janvier 2008 pour la période d'assujettissement du 1er mai 2007 au 31 juillet 2007 et du 10 septembre 2007 au 31 décembre 2007 mentionnait l'application du barème B7 (applicable aux contribuables avec trois enfants à charge), mais indiquait que l'intéressé n'avait pas d'enfants. Une deuxième attestation-quittance du 30 janvier 2008 pour la période d'assujettissement du 1er au 31 août 2007 mentionnait l'utilisation du barème B8 (également applicable aux contribuables avec trois enfants à charge) et indiquait que X._ avait trois enfants.
A la suite de demandes de déduction formulées par le contribuable, l'Administration fiscale cantonale du canton de Genève (ci-après: l'Administration fiscale cantonale) lui a notifié quatre décisions de rectification de l'impôt à la source, le 27 octobre 2008 pour les années 2006 et 2007, le 26 janvier 2010 pour l'année 2008 et le 19 octobre 2010 pour l'année 2009. Ces décisions mentionnaient le barème d'imposition B5 (applicable aux contribuables avec deux enfants à charge) et indiquaient "charge (s) admise (s) : 2".
B.
B.a. Le 1er septembre 2011, par pli déposé au guichet de l'Administration fiscale cantonale, X._ a demandé à l'Administration fiscale cantonale de rectifier son imposition pour les années 2006 à 2009, dans la mesure où il n'avait pas été tenu compte du fait qu'il avait trois enfants à charge et non deux. La réclamation était motivée comme suit: "Afin de justifier ma demande tardive et hors délai légal de réclamation, je vous informe que je ne prêtais jusqu'à cette année pas attention au détail du courrier et je me contentais de payer les bordereaux joints en faisant confiance au calcul de vos services."
Par trois décisions datées du 18 novembre 2011, l'Administration fiscale cantonale a déclaré que les réclamations du recourant étaient irrecevables, car tardives, ces dernières n'ayant pas été présentées dans le délai légal de trente jours dès réception des bordereaux prévu à l'art. 39 de la loi genevoise du 4 octobre 2001 de procédure fiscale (LPFisc/GE; RSGE D 3 17).
B.b. Par trois actes du 22 décembre 2011, X._ a recouru contre ces décisions auprès du Tribunal administratif de première instance de Genève (ci-après: le Tribunal administratif). Par jugement du 26 novembre 2012, le Tribunal administratif a rejeté les recours, au motif que la réclamation du contribuable n'avait pas été formulée dans le délai légal fixé à l'art. 23 al. 2 let. a de la loi genevoise du 23 septembre 1994 sur l'imposition à la source des personnes physiques et morales (LISP/GE; RSGE D 3 20).
B.c. Saisi d'un recours de X._, la Chambre administrative de la Cour de Justice du canton de Genève (ci-après: la Cour de Justice) l'a admis, par arrêt du 7 janvier 2014. Elle a annulé le jugement du Tribunal administratif ainsi que les décisions sur réclamation de l'Administration fiscale cantonale et renvoyé la cause à l'Administration fiscale cantonale pour qu'elle calcule l'impôt à restituer ainsi que les intérêts rémunératoires y associés. La Cour de Justice a retenu, en substance, que la demande du contribuable du 1er septembre 2011 était une demande de restitution au sens des <ref-law> et 21 al. 4 LISP/GE et qu'elle avait été déposée en temps utile, à savoir dans les cinq ans à compter de la connaissance par le contribuable du motif de la restitution et dans les dix ans après la fin des années où le paiement a eu lieu (art. 32 al. 2 de la loi genevoise du 26 juin 2008 relative à la perception et aux garanties des impôts des personnes physiques et morales [LPGIP/GE; RSGE D 3 18] appliqué par analogie).
C.
Agissant par la voie du recours en matière de droit public, l'Administration fiscale cantonale demande au Tribunal fédéral d'annuler l'arrêt de la Cour de Justice du 7 janvier 2014, de confirmer ses décisions sur réclamation du 18 novembre 2011 et les bordereaux rectificatifs d'imposition à la source 2006 du 27 octobre 2008, 2007 du 27 octobre 2008, 2008 du 26 janvier 2010 et 2009 du 19 octobre 2010.
Le contribuable ne s'est pas déterminé. La Cour de justice n'a pas formulé d'observations, s'en remettant à justice quant à la recevabilité du recours et persistant dans les considérants et le dispositif de son arrêt. L'Administration fédérale des contributions conclut à l'admission du recours.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office sa compétence (cf. <ref-law>) et contrôle librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 103).
1.1. L'arrêt attaqué admet le recours du contribuable, déclare les réclamations de celui-ci recevables et renvoie la cause à l'Administration fiscale cantonale. Dans cette mesure, il s'agit d'une décision incidente, qui est susceptible d'un recours devant le Tribunal fédéral notamment si elle peut causer un préjudice irréparable (<ref-law>). Selon la jurisprudence, est réputée subir un préjudice irréparable, au sens de cette disposition, l'autorité qui devrait, à la suite d'une décision de renvoi, rendre une nouvelle décision qui, de son point de vue, serait contraire au droit, sans pouvoir par la suite la remettre en cause devant l'instance supérieure (cf. arrêt 2C_805/2013 du 21 mars 2014 consid. 1.1, non publié in <ref-ruling>; <ref-ruling> consid. 1.3 p. 128). Tel est le cas en l'espèce, de sorte que l'arrêt attaqué peut faire séparément l'objet d'un recours au Tribunal fédéral.
1.2. C'est en application des art. 139 al. 2 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD; RS 642.11), 17 LISP/GE, ainsi que 6 et 7 LPFisc/GE que l'instance précédente n'a rendu qu'une décision comprenant l'impôt à la source fédéral, cantonal et communal. Il n'y a pas lieu de distinguer, en matière d'imposition à la source, comme l'exige la jurisprudence en matière d'impôt direct ordinaire (cf. <ref-ruling> consid. 1.3.3 p. 264; <ref-ruling> consid. 8.3 p. 511), l'examen de l'impôt fédéral direct de celui de l'impôt cantonal et communal harmonisé, le recours en matière de droit public étant ouvert dans les deux cas pour violation du droit fédéral; l'art. 73 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID; RS 642.14) ne revêt plus de portée propre en l'espèce (cf. arrêts 2C_236/2010 du 14 octobre 2010 consid. 1.2; 2C_215/2009 du 1er octobre 2009 consid. 1.3 in RDAF 2010 II 451).
1.3. La qualité pour recourir de l'Administration fiscale cantonale doit être admise (art. 89 al. 2 let. d LTF en relation avec l'art. 73 al. 1 et 2 LHID). Pour le surplus, le recours est dirigé contre un arrêt rendu par une autorité judiciaire supérieure, ayant statué en dernière instance cantonale (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (<ref-law>) qui ne tombe pas sous le coup des exceptions prévues à l'<ref-law>. Interjeté en temps utile (<ref-law>) et dans les formes prescrites par la loi (<ref-law>), le recours est donc recevable.
2.
Saisi d'un recours en matière de droit public, le Tribunal fédéral examine d'office le droit fédéral (cf. art. 95 let. a et 106 al. 1 LTF), ainsi que le droit cantonal harmonisé (<ref-ruling> consid. 2 p. 210; arrêts 2C_291/2013 et 2C_292/2013 du 26 novembre 2013 consid. 2.3, non publié in <ref-ruling> mais in RDAF 2014 II p. 212). Il fonde son raisonnement juridique sur les faits retenus par l'autorité précédente (<ref-law>), à moins que ces faits n'aient été établis de façon manifestement inexacte - c'est-à-dire arbitraire (<ref-ruling> consid. 1.5 p. 401) - ou en violation du droit au sens de l'<ref-law> (cf. <ref-law>).
3.
Le litige porte sur la question de savoir si la réclamation déposée par le contribuable le 1er septembre 2011, par laquelle celui-ci a indiqué à l'Administration fiscale cantonale que deux charges de famille avaient été prises en compte au lieu de trois, était ou non tardive.
La recourante soutient que c'est à tort que la Cour de Justice a appliqué les art. 23 al. 2 LISP/GE, 137 et 138 LIFD et que celle-ci a violé les art. 39 LPFisc/GE et 132 al. 1 LIFD. Elle considère notamment qu'en application de l'<ref-law>, le contribuable aurait dû présenter une réclamation contre les bordereaux rectificatifs dans le délai de trente jours prévu à l'<ref-law>. A cet égard, elle invoque notamment le fait que les bordereaux rectificatifs indiquaient que toute réclamation au sujet des impôts réclamés devaient être faites dans le délai de trente jours dès la remise du bordereau et le fait que le contribuable lui-même a reconnu qu'il avait fait preuve de négligence.
4.
Dans l'arrêt attaqué, pour arriver à la conclusion que la procédure de restitution de l'impôt au sens de l'<ref-law> est applicable au contribuable, la Cour de justice se réfère notamment à deux arrêts du Tribunal fédéral - <ref-ruling> et arrêt 2C_601/2010 du 21 décembre 2010 - qui concernent notamment les art. 137 et 138 LIFD.
4.1. L'<ref-law> prévoit que, lorsque le contribuable ou le débiteur d'une prestation imposable conteste le principe même ou le montant de la retenue d'impôt, il peut, jusqu'à la fin mars de l'année qui suit l'échéance de la prestation, exiger que l'autorité de taxation rende une décision relative à l'existence et l'étendue de l'assujettissement. Aux termes de l'<ref-law>, lorsque le débiteur de la prestation imposable a opéré une retenue insuffisante ou n'en a effectué aucune, l'autorité de taxation l'oblige à s'acquitter de l'impôt qui n'a pas été retenu. Le droit du débiteur de se retourner contre le contribuable est réservé. L'al. 2 prévoit que lorsque le débiteur de la prestation imposable a opéré une retenue d'impôt trop élevée, il doit restituer la différence au contribuable. Des dispositions similaires sont prévues par le droit cantonal genevois (cf. art. 21 al. 3 et 4 et 23 LISP/GE) et par l'<ref-law>.
4.2. Dans l'<ref-ruling>, le Tribunal fédéral a examiné le rapport entre les art. 137 et 138 LIFD. L'affaire concernait un travailleur italien dont l'employeur avait appliqué un taux d'imposition erroné, ce que le contribuable n'avait contesté qu'après le délai d'échéance fixé à l'<ref-law>. La requête du contribuable avait été rejetée, au motif qu'elle était tardive. Le Tribunal fédéral a d'abord relevé que lorsqu'une décision selon l'<ref-law> a été requise dans les délais, le prononcé y relatif, dans la mesure où il n'est pas attaqué, entre en force (<ref-ruling> consid. 5.1. p. 279, in RDAF 2010 II p. 168). Une telle décision peut concerner le principe même ou le montant de l'assujettissement (<ref-ruling> consid. 5.1. p. 279, in RDAF 2010 II p. 168). En revanche, lorsque le contribuable ou le débiteur de la prestation imposable n'ont pas demandé de décision dans le délai prescrit, les conséquences en sont "moins évidentes" (cf. arrêt 2C_684/2012 du 5 mars 2013 consid. 5.2). En effet, l'auto-taxation n'est en principe pas une décision en soi, car ni le contribuable ni le débiteur n'ont autorité pour rendre des décisions (<ref-ruling> consid. 5.3.1 p. 172, in RDAF 2010 II p. 168). Il n'est dès lors pas justifié d'assimiler l'auto-taxation à une décision entrée en force et il n'est pas possible de déduire de l'<ref-law> qu'à la fin du mois de mars de chaque année, la retenue d'impôt de l'année précédente entre en force, même sans décision formelle (cf. <ref-ruling> consid. 5.3.3 et 5.4 p. 282, in RDAF 2010 II p. 168). Dans cet arrêt, le Tribunal fédéral a dès lors jugé qu'après l'échéance du délai à fin mars prévu à l'<ref-law>, il n'est plus possible de soulever des contestations sur le principe de l'assujettissement fiscal, mais la possibilité demeure non seulement pour l'autorité de taxation d'exiger un éventuel paiement complémentaire au sens de l'<ref-law>, mais également pour le débiteur de la prestation imposable de réclamer la restitution de l'impôt payé en trop.
4.3. Dans l'arrêt 2C_601/2010, le Tribunal fédéral a admis le recours d'une contribuable étrangère exerçant une activité lucrative soumise au régime de l'impôt à la source qui s'était vue appliquer un barème erroné par son employeur et qui n'avait obtenu des autorités judiciaires ni décision d'irrecevabilité, ni décision sur le fond au sujet de son imposition, les autorités se contentant de statuer sur l'imposition du mari uniquement (cf. arrêt 2C_601/2010 du 21 décembre 2010). En se fondant sur l'<ref-ruling>, le Tribunal fédéral a conclu que la contribuable avait droit à ce que sa situation soit examinée.
4.4. Force est de constater que, contrairement à ce que soutient la Cour de Justice, les faits des deux arrêts précités se distinguent de ceux de la présente affaire. En effet, contrairement au cas d'espèce, dans les deux affaires précitées, le contribuable avait uniquement fait l'objet d'une retenue d'impôt dans le cadre de la procédure d'auto-taxation. Aucune décision de rectification d'imposition n'avait été notifiée par l'administration fiscale. Or, en l'espèce, l'intimé a précisément reçu des décisions de l'Administration fiscale cantonale. C'est dès lors à tort que la Cour de Justice s'est basée sur ces arrêts pour conclure que la procédure de restitution prévue aux <ref-law> et 21 al. 3 et 4 LISP était applicable au contribuable.
Il s'agit encore de déterminer si la réclamation déposée par le contribuable le 1er septembre 2011 l'a été en temps utile.
5.
5.1. L'<ref-law> prévoit que l'intéressé peut s'opposer à une décision en matière d'imposition à la source en présentant une réclamation selon l'<ref-law>, soit dans un délai de trente jours à compter de la notification d'une décision au sens de l'<ref-law> (cf. ANDREA PEDROLI, in Commentaire romand de la loi sur l'impôt fédéral direct, 2008, n° 1 ad <ref-law>). Le droit cantonal contient une disposition similaire. En effet, aux termes de l'art. 39 al. 1 LPFisc/GE, le contribuable peut adresser au département une réclamation écrite contre la décision de taxation, dans les trente jours qui suivent sa notification.
5.2. En l'espèce, à la suite des demandes du contribuable à bénéficier de déductions, l'Administration fiscale cantonale lui a notifié quatre bordereaux rectificatifs, qui mentionnaient que les charges d'enfants admises étaient au nombre de deux. Ces décisions de l'Administration fiscale cantonale, qui indiquaient expressément le droit pour tout contribuable qui souhaite contester sa taxation d'adresser une réclamation dans les trente jours dès la notification du bordereau, constituent des décisions en matière d'imposition à la source au sens de l'<ref-law>. Elles auraient dû - comme les décisions de taxation ordinaire - être attaquées par le contribuable dans le délai de trente jours prévu à l'<ref-law>. En effet, sur ce point, rien ne justifie de distinguer la situation des personnes assujetties à l'impôt à la source de celles soumises à la taxation ordinaire.
Dans la mesure où elles n'ont pas été attaquées dans le délai légal, les décisions de l'Administration fiscale cantonale sont entrées en force. Il reste à examiner si le contribuable se trouvait dans une situation telle que l'inobservation du délai était excusable.
5.3. Aux termes de l'<ref-law>, une réclamation tardive n'est recevable que si le contribuable établit que par suite de service militaire, de service civil, de maladie, d'absence du pays ou pour d'autres motifs sérieux, il a été empêché de présenter sa réclamation en temps utile et qu'il l'a déposée dans les trente jours après la fin de l'empêchement. L'art. 41 al. 3 LPFisc/GE a la même teneur. La restitution du délai de réclamation suppose que le contribuable n'a pas respecté le délai légal en raison d'un empêchement imprévisible dont la survenance ne lui est pas imputable à faute (cf. arrêts 2P.259/2006 du 18 avril 2007 consid. 3.2; 2A.248/2003 du 8 août 2003, consid. 3 et les références citées). En l'espèce, le contribuable n'a allégué d'empêchement de cette nature ni en procédure cantonale ni devant le Tribunal fédéral. Au contraire, il a lui-même reconnu dans sa réclamation qu'il avait commis une erreur et que sa demande tardive était due à son inattention, ce qui ne constitue pas un motif de restitution (cf. HUGO CASANOVA, in Commentaire romand LIFD, 2008, n o 13 ad <ref-law> et la référence citée). Les conditions d'une réclamation tardive prévues à l'<ref-law>, respectivement à l'art. 41 al. 3 LPFisc/GE, ne sont par conséquent pas remplies.
5.4. Les considérants qui précèdent conduisent à l'admission du recours et à l'annulation de l'arrêt attaqué.
Succombant, l'intimé doit supporter les frais judiciaires (<ref-law>). Il y a lieu de rappeler qu'une partie intimée qui, invitée à présenter ses conclusions, ne formule aucune conclusion devant le Tribunal fédéral est réputée succomber (arrêt 2C_785/2013 du 28 mai 2014 consid. 6; cf. également BERNARD CORBOZ, in Commentaire de la LTF, 2e éd. 2014, no 38 ad <ref-law>). Il n'est pas alloué de dépens à l'Administration fiscale cantonale (<ref-law>).
La Cour de céans ne fera pas usage de la faculté prévue à l'<ref-law> et la cause sera renvoyée à la Cour de justice, afin qu'elle statue à nouveau sur les frais et dépens de la procédure cantonale.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis.
2.
L'arrêt de la Cour de Justice du canton de Genève du 7 janvier 2014 est annulé et les décisions sur réclamation de l'Administration fiscale cantonale genevoise du 18 novembre 2011 sont confirmées.
3.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge de l'intimé.
4.
La cause est renvoyée à la Cour de Justice du canton de Genève pour qu'elle statue sur les frais et dépens de la procédure cantonale.
5.
Le présent arrêt est communiqué à l'Administration fiscale cantonale du canton de Genève, à X._, à la Chambre administrative de la Cour de justice du canton de Genève, 1ère section, et à l'Administration fédérale des contributions.
Lausanne, le 29 octobre 2014
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Zünd
La Greffière : Thalmann