Faits : A. B.X._, né en 1933, et A.X._ sont domiciliés dans le canton de Genève. En 1994, la banque Y._ SA (ci-après : la Banque) a octroyé à B.X._ et à six autres personnes - formant entre elles une société simple en vue de réaliser une promotion immobilière - un prêt et une avance, garantis par la remise d'une cédule hypothécaire, d'un montant de 2'840'000 fr. Le prêt et l'avance, ainsi que la cédule hypothécaire, ont été dénoncés par la Banque le 24 décembre 1996. Le 15 février 2001, la Banque et B.X._ ont conclu une convention, qui faisait suite à une poursuite en réalisation de gage immobilier qui avait abouti à la délivrance, en faveur de la Banque, d'un certificat d'insuffisance de gage pour un montant de 1'327'329 fr. 45. Aux termes de la convention, la Banque acceptait d'abandonner à l'égard de B.X._, débiteur solidaire, un montant de 1'327'329 fr. 45, moyennant le paiement de 75'000 fr. par chacun des sept débiteurs (soit 525'000 fr. au total). Ceci représentait un abandon de créance de 114'618 fr. par débiteur. B.X._ devait s'acquitter de 10'000 fr. à la signature de l'accord; le solde, soit 65'000 fr., était payable au plus tard un an à compter de la signature de la convention. Le 2 juin 2003, l'Administration fiscale cantonale du canton de Genève (ci-après: l'Administration fiscale cantonale) a notifié un bordereau relatif aux impôts cantonaux et communaux (ci-après: ICC) 2001-B qui s'élevait à 28'217 fr. 50, pour un revenu et une fortune imposables de 140'024 fr., respectivement 200'055 fr. Celui de l'impôt fédéral direct (ci-après: IFD) se montait à 7'375 fr., pour un revenu imposable de 147'700 fr. En annexe à leur déclaration fiscale 2003, les contribuables ont produit une lettre du 21 septembre 2004 de la Banque concernant la "Convention du 15 février 2001" qui mentionnait que B.X._ avait reconnu être débiteur de 75'000 fr. et qui l'invitait à s'acquitter de 65'000 fr. Dans un courrier du 11 octobre 2004, adressé à l'Administration fiscale cantonale, les contribuables ont exposé que la promotion immobilière s'était mal terminée et que la Banque leur réclamait le versement de 65'000 fr.; les époux X._ demandaient quelle année devait supporter la déduction de 65'000 fr. La lettre indiquait que la convention du 15 février 2001 était jointe en annexe. Il ressort du dossier que, le 29 avril 2005, l'Administration fiscale cantonale leur a demandé une copie de la convention. Le 11 avril 2008, l'Administration fiscale cantonale a ouvert à l'encontre des contribuables une procédure en rappel et en soustraction d'impôt pour la période 2004: conformément à la convention, ceux-ci avaient bénéficié d'un abandon de créance en 2004, lequel constituait un revenu imposable se montant, en ce qui concernait les époux X._, à 114'618 fr. Cette procédure s'est terminée par un jugement du 12 octobre 2011 du Tribunal administratif de première instance du canton de Genève (ci-après: le Tribunal administratif) admettant le recours des époux X._ au motif que la convention avait été conclue en 2001 et qu'imputer ce revenu à l'année 2004 constituait une violation du principe de l'étanchéité des exercices fiscaux. Après avoir ouvert une nouvelle procédure pour la période fiscale 2001-B, l'Administration fiscale cantonale a notifié aux contribuables, le 25 novembre 2011, des bordereaux de rappel d'impôt, ainsi que deux bordereaux d'amende qui arrêtaient les montants suivants: Revenu imposable Fortune imposable Supplément d'impôt Amende Intérêt de retard ICC 248'876.00 200'055.00 34'300.20 25'725.00 9'056.70 IFD 255'500.00 14'911.00 11'183.00 5'315.55 Total 49'211.20 36'908.00 14'372.25 La soustraction avait été commise par négligence et l'Administration fiscale cantonale a fixé la quotité de l'amende à 0,75 fois les droits éludés. Le 9 janvier 2012, l'Administration fiscale cantonale a rejeté la réclamation des époux X._. B. Par jugement du 8 avril 2013, le Tribunal administratif a partiellement admis le recours des époux X._. Les contribuables n'avaient pas mentionné le revenu relatif à l'abandon de créance dans leur déclaration fiscale 2001-B. Ils n'avaient transmis la convention à l'Administration fiscale cantonale qu'ultérieurement, dans le cadre de leur taxation 2003. Rien, à la lecture de la déclaration fiscale 2001-B, ne démontrait que celle-ci contenait des inexactitudes flagrantes; elle ne permettait pas au fisc de déterminer que les contribuables avaient obtenu l'abandon de créance litigieux. Les reprises étaient justifiées et les bordereaux de rappel d'impôt du 25 novembre 2011 devaient être confirmés. Toutefois, en ce qui concernait l'amende, dès lors que la soustraction avait été commise par négligence, il fallait retenir, comme sanction de base, une amende équivalant à un tiers des droits soustraits; les connaissances professionnelles du contribuable, patron d'une fiduciaire, ainsi que les montants soustraits, constituaient des circonstances aggravantes; la quotité de l'amende pour l'IFD 2001-B devait dès lors être portée à 0,6 fois l'impôt éludé, au lieu de 0,75 fois. Quant à l'amende pour l'ICC 2001-B, le Tribunal administratif a estimé qu'elle devait être annulée, la prescription de l'action pénale étant acquise. C. Par arrêt du 4 février 2014, la Chambre administrative de la Cour de justice du canton de Genève (ci-après: la Cour de justice) a rejeté le recours de l'Administration fiscale cantonale qui contestait la prescription de l'amende, admis partiellement le recours des époux X._, annulé le jugement du Tribunal administratif du 8 avril 2013 en ce qu'il admettait le principe de l'amende relative à l'IFD 2001-B, annulé le bordereau d'amende pour cet impôt du 25 novembre 2011 et confirmé le jugement attaqué pour le surplus. Le rappel d'impôt était justifié dans son principe et sa quotité n'était pas contestée. Contrairement à ce qu'avait retenu l'autorité précédente, l'amende relative à l'ICC 2001-B n'était pas prescrite. Cependant, les époux, en ne déclarant pas l'abandon de créance en 2001-B, n'avaient pas commis de faute, même par négligence. La Cour de justice a donc annulé l'amende relative à l'IFD 2001 et n'a pas rétabli celle infligée pour l'ICC, bien qu'elle ait constaté qu'elle n'était pas prescrite. D. Agissant par la voie du recours en matière public, l'Administration fiscale cantonale demande au Tribunal fédéral d'annuler l'arrêt du 4 février 2014 de la Cour de justice et de rétablir les amendes relatives à l'IFD et l'ICC 2001-B infligées par bordereaux du 25 novembre 2011 et confirmées par décisions sur réclamation du 9 janvier 2012. Les époux X._ ont déposé des observations qui ne contiennent pas de conclusions. La Cour de justice persiste dans les considérants et le dispositif de son arrêt. L'Administration fédérale des contributions conclut à l'admission du recours.