Faits : A. A._ vit séparé de son épouse depuis le mois d'octobre 2006. Le couple a quatre enfants: B._ (né le *** 1988), C._ (née le *** 1990), D._ (né en 1997) et E._ (né en 2001). Par jugement sur mesures protectrices de l'union conjugale du 22 novembre 2007, le Tribunal de première instance du canton de Genève a attribué à l'épouse la jouissance exclusive du domicile conjugal (une villa, propriété du mari), lui a confié la garde des trois enfants mineurs (C._, D._ et E._), lui a ordonné de "payer mensuellement le montant de la dette hypothécaire de Frs. 1'652.10" et a condamné A._ à verser à son épouse une contribution d'entretien mensuelle de 6'640 fr., somme incluant un montant de 1'400 fr. pour l'entretien de B._, majeur, qui est resté vivre auprès de sa mère. Ce jugement a été confirmé par la Chambre civile de la Cour de justice du canton de Genève par arrêt du 18 avril 2008. Dans sa déclaration d'impôt concernant l'impôt fédéral direct (ci-après: IFD) et les impôts cantonal et communal (ci-après: ICC) pour la période fiscale 2008, A._ a notamment déduit un montant de 79'680 fr. au titre des contributions d'entretien. Par courrier du 20 février 2011, le contribuable a fourni à l'Administration fiscale cantonale (ci-après: l'Administration cantonale) les justificatifs concernant ces contributions, pour un montant total de 58'424 fr. 95. B. B.a. Le 5 décembre 2011, l'Administration cantonale a établi les bordereaux de taxation IFD et ICC 2008 de A._. Les deux bordereaux admettent notamment la déduction d'un montant de 45'939 fr. au titre des contributions d'entretien au lieu des 79'680 fr. déclarés, ainsi que la déduction de 22'592 fr. d'intérêts hypothécaires concernant la villa. Ils retiennent en outre un revenu brut immobilier de 13'097 fr. (ICC), respectivement 18'190 fr. (IFD), mais déduisent ensuite la totalité de ces montants, avec la remarque suivante: "valeur locative de votre bien immobilier occupé par Mme F._" (art. 105 al. 2 LTF). Enfin, ils accordent à A._ deux charges de famille pour B._ et C._. Par décision du 22 décembre 2011, l'Administration cantonale a rejeté la réclamation élevée contre les bordereaux du 5 décembre 2011 en tant qu'elle portait, notamment, sur le montant de la déduction des contributions d'entretien. B.b. Le 16 janvier 2012, le contribuable a recouru contre cette décision devant le Tribunal administratif de première instance du canton de Genève (ci-après: le TAPI). Le 28 février 2013, le TAPI a informé A._ qu'il envisageait de réformer la taxation 2008 au détriment de celui-ci en intégrant au revenu imposable la créance de 1'652 fr. 10 par mois (soit 19'825 fr. 20 pour toute l'année) dont il bénéficiait à l'égard de son épouse et l'a invité à se prononcer sur ce point. Le recourant a maintenu son recours le 8 mars 2013. Par jugement du 8 avril 2013, le TAPI a partiellement admis le recours s'agissant des contributions d'entretien et fixé la déduction pour celles-ci à 54'480 fr. Il a aussi prononcé la reformatio in peius des taxations contestées en intégrant au revenu imposable la créance que, selon le Tribunal de première instance, le contribuable aurait envers son épouse, d'un montant de 1'625 fr. 10 [recte: 1'652 fr. 10] par mois. B.c. Saisie d'un recours contre le jugement du TAPI du 8 avril 2013, la Chambre administrative de la Cour de justice du canton de Genève (ci-après: la Cour de justice) l'a rejeté le 13 mai 2014 et a confirmé le jugement du Tribunal précité. C. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du 13 mai 2014, de dire que la totalité de la pension mensuelle de 6'640 fr. prévue par le jugement du 22 novembre 2007, voire (apparemment subsidiairement) le montant de 58'424 fr. [recte: 58'424 fr. 95] effectivement versé en 2008, est déductible de son revenu imposable au titre des contributions d'entretien, de constater dans tous les cas que la reprise de revenu de 19'825 fr. 20 (soit 12 x 1'652 fr. 10) au titre de créance envers son épouse n'est pas justifiée, et de renvoyer la cause à la Cour de justice pour nouvelle décision. La Cour de justice, l'Administration cantonale et l'Administration fédérale des contributions concluent au rejet du recours et à la confirmation de l'arrêt querellé. Par ordonnance du 9 juillet 2014, le Président de la IIe Cour de droit public du Tribunal fédéral a rejeté la requête d'effet suspensif formulée par A._.