Faits : A. A.a. Par bordereau de taxation du 26 février 2013, notifié à A._ et à son épouse, l'Administration fiscale cantonale du canton de Genève (ci-après: AFC) a fixé le montant des impôts cantonaux et communaux dus par ces derniers pour l'année 2008 à xxxxx fr., sous imputation de xxx fr. à titre de retenue supplémentaire d'impôts et de xxxxx fr. à titre de restitution de l'impôt anticipé, soit xxxxx fr. au total. Selon le relevé du compte joint au bordereau, les époux A._ ont payé durant l'année 2008, à titre d'acomptes sur ces impôts, la somme de xxxxx fr. (10 x xxxx fr.). Ils restaient donc devoir un montant de xxxxx fr. (xxxxx fr. - xxxxx fr.) au titre desdits impôts, plus xxxx fr. dus à titre d'intérêts financiers, à savoir xxxxx fr. au total. Par courrier du 4 avril 2013 établi par leur fiduciaire, ils ont contesté devoir des "intérêts de retard" (recte: intérêts financiers), se prévalant d'un engagement de l'administration fiscale de les en exonérer. L'AFC a répondu le 24 avril 2013 que l'engagement pris ne valait pas au-delà de l'année 2005. Par courrier du 29 avril 2013, l'AFC a invité les époux A._ à payer la somme de xxxx fr. à titre d'intérêts financiers dus sur la taxation précitée, ceux-ci s'étant acquitté de xxxxx fr. le 4 avril 2013. Par courrier du 3 juin 2013, l'AFC a sommé les époux A._ de payer xx fr. à titre de solde de la taxation précitée, xx fr. de frais de sommation et xxxx fr. d'intérêts. Dans l'échange de courriers subséquent, l'AFC et les époux A._ ont maintenu leurs positions respectives, ces derniers se prévalant toujours de l'engagement de l'AFC de ne pas leur réclamer d' "intérêts de retard" lequel portait, selon eux, également sur les impôts de l'année 2008. A.b. A la réquisition de l'Etat de Genève, soit pour lui l'AFC, un commandement de payer, poursuite n° xxxx, portant sur les sommes de xx fr. avec intérêts à 5% l'an dès le 29 août 2013 au titre du bordereau précité (poste 1) et de xxxx fr. à titre d' "intérêts moratoires" au 29 août 2013 (poste 2), a été notifié le 16 septembre 2013 à A.A._, qui y a formé opposition. A.c. Par jugement du 8 janvier 2014, le Tribunal de première instance du canton de Genève (ci-après: Tribunal de première instance) a, à la requête de l'Etat de Genève, prononcé la mainlevée définitive de l'opposition formée par A.A._ au commandement de payer, poursuite n° xxxx, pour le poste 1 et pour le poste 2 à concurrence de xxxx fr. Le Tribunal de première instance a retenu que le "décompte final" du 26 février 2013, faisant partie intégrante de la décision de taxation ICC 2008 et comportant un montant de xxxx fr. au titre d'intérêts, valait titre de mainlevée définitive pour ce montant, la décision de taxation n'ayant pas fait l'objet d'une réclamation. Il a en outre retenu que A.A._, qui ne contestait pas que les frais de sommation et le solde des impôts faisaient l'objet du premier poste du commandement de payer, avait échoué à prouver la remise de dette alléguée. B. B.a. Par acte déposé le 20 janvier 2014, A.A._ a formé recours par-devant la Cour de justice du canton de Genève (ci-après: Cour de justice) contre le jugement précité. Il a conclu, préalablement, à la suspension immédiate de la force exécutoire du jugement querellé et, principalement, à l'annulation dudit jugement, au rejet de la requête de mainlevée définitive formée par l'Etat de Genève le 7 octobre 2013 et à ce qu'il soit dit que la poursuite n° xxxx n'ira pas sa voie. Il a notamment fait valoir que, dès lors qu'il avait formé réclamation contre la décision des intérêts relatifs à l'ICC 2008, la mainlevée définitive ne pouvait être accordée pour ce montant, la décision de taxation ne pouvant dès lors être considérée comme exécutoire au sens de l'art. 80 LP. Il s'est également prévalu du fait que le relevé de compte sur lequel figurent les intérêts, notifié simultanément au bordereau d'impôts, n'est pas muni du tampon indiquant qu'il vaudrait jugement exécutoire. Le Tribunal de première instance aurait par conséquent retenu à tort que l'Etat de Genève était muni d'un titre exécutoire au sens de l'art. 80 LP. B.b. Par arrêt du 23 mai 2014, la Cour de justice a rejeté ledit recours. C. Par acte du 26 juin 2014, A.A._ forme un recours constitutionnel subsidiaire au Tribunal fédéral contre cette décision. Il conclut à ce que l'arrêt entrepris soit réformé en ce sens que la requête de mainlevée définitive formée par l'Etat de Genève, soit pour lui l'AFC, le 7 octobre 2013 est rejetée et à ce qu'il soit dit que la poursuite n° xxxx qui lui a été notifiée le 16 septembre 2013 n'ira pas sa voie. A l'appui de ses conclusions, il invoque une application arbitraire contraire à l'art. 9 Cst. du droit cantonal et plus précisément des art. 361 et 362 de l'ancienne loi générale genevoise du 9 novembre 1887 sur les contributions publiques (aLCP; RS/GE D 3 05) et des dispositions de la loi genevoise du 26 juin 2008 relative à la perception et aux garanties des impôts des personnes physiques et des personnes morales (LPGIP; RS/GE D 3 18), notamment des art. 16 et 17 LPGIP. Il sollicite en outre que son recours soit muni de l'effet suspensif. Invités à se déterminer sur le recours, l'Etat de Genève, soit pour lui l'AFC, n'a pas répondu, et la Cour de justice s'est référée aux considérants de son arrêt. D. La requête d'effet suspensif a été rejetée par ordonnance présidentielle du 27 juin 2014.