Faits : A. Le 29 novembre 1978, A._, née en xxxx, a été instituée usufruitière de 17 actions de la Société Immobilière B._ SA. Par décision de l'assemblée générale ordinaire du 22 août 2011, la société immobilière précitée a distribué un dividende de 16'666 fr. 67 à l'intéressée. Après retenue de l'impôt anticipé d'un montant de 5'833 fr. 33, le dividende net acquitté s'élevait à 10'833 fr. 33. Le 17 novembre 2012, le Tribunal tutélaire a désigné un curateur à la contribuable, notamment aux fins de gérer et administrer les biens de cette dernière ainsi que d'encaisser ses revenus et ses rentes. Ce curateur a en particulier signé la déclaration fiscale de A._ pour l'année fiscale 2011. Cette déclaration ne mentionnait ni les 17 actions de la société immobilière, ni le dividende y relatif. B. Par décisions de taxation du 4 février 2013, l'Administration fiscale cantonale de la République et canton de Genève (ci-après: l'Administration fiscale) a fixé le revenu imposable et la fortune de la contribuable pour les impôts cantonal et communal (ci-après: ICC) à 36'254 fr., respectivement à 698'254 fr. Elle a arrêté le revenu imposable pour l'impôt fédéral direct (ci-après: IFD) à 49'700 fr. Les impôts dus s'élevaient ainsi à 7'364 fr. 15 pour l'ICC et à 441 fr. 40 pour l'IFD. Elle a en particulier pris en compte le revenu correspondant aux dividendes versés pour les 17 actions de la société immobilière et estimé la valeur fiscale de celles-ci à 777'342 fr. La contribuable a formé réclamation contre ces décisions le 4 février 2013. Lors de la procédure de réclamation, la contribuable a été invitée à remettre une attestation relative à ses avoirs et à leur rendement auprès de la société immobilière au 31 décembre 2011, ce qu'elle a fait par courrier du 4 décembre 2013. L'attestation faisait état d'une fortune de 17 actions pour un montant total de 844'764 fr. et d'un revenu issu de ces 17 actions pour un total de 16'667 fr., dont a été déduit un montant de 5'833 fr. au titre de l'impôt anticipé. A cette occasion, la contribuable a demandé la restitution de l'impôt anticipé, ce que l'Administration fiscale lui a refusé dans une décision séparée du 12 décembre 2013. La contribuable a contesté ce prononcé auprès du Tribunal administratif de première instance de la République et canton de Genève (ci-après: Le Tribunal administratif de première instance). Par jugement du 19 janvier 2015, le Tribunal administratif de première instance a admis le recours de A._ et renvoyer la cause à l'Administration fiscale afin que celle-ci notifie une nouvelle décision de taxation en matière d'ICC pour l'année fiscale 2011. Il a considéré qu'aucun élément ne permettait de retenir une intention manifeste de soustraction ou de fraude de la part de la contribuable, ce qui ne permettait pas de refuser le remboursement de l'impôt anticipé, pour lequel la demande n'avait pas été tardive. C. Agissant par la voie du recours en matière de droit public, l'Administration fédérale des contributions (ci-après: l'Administration fédérale) demande au Tribunal fédéral, sous suite de frais, d'annuler l'arrêt du 19 janvier 2015 du Tribunal administratif de première instance et de confirmer la décision sur réclamation de l'Administration fiscale, subsidiairement de procéder à un échange de vue avec la Chambre administrative de la Cour de justice de la République et canton de Genève quant à l'éventuelle compétence de cette dernière. Elle se plaint de violation du droit fédéral. Le Tribunal administratif de première instance renonce à se déterminer. A._ conclut au rejet du recours. L'Administration fiscale conclut en substance à l'admission du recours. Dans des observations finales, l'Administration fédérale confirme ses conclusions.