Faits: A.a. A.A._ et B.A._ ont été domiciliés ensemble dans le canton de Genève jusqu'en 2011. Depuis l'année 2000, A.A._ a été actionnaire à 49%, administrateur unique et directeur général de la société B._ SA (ci-après la Société), une société anonyme au capital-actions de 100'000 fr. A.b. Dans leur déclaration fiscale 2005 pour l'impôt cantonal et communal (ci-après: ICC) et l'impôt fédéral direct (ci-après: IFD) retournée le 11 septembre 2006, A.A._ et B.A._ ont, notamment, reporté un revenu brut de 404'000 fr. que A.A._ avait réalisé en sa qualité de directeur exécutif de sociétés, ainsi qu'une fortune mobilière de 693'407 fr. Les époux A._ ont par ailleurs fait valoir, sous la rubrique " intérêts et dettes chirographaires ", un montant de 695'312 fr. correspondant au montant de la dette de prêt due par A.A._ à la Société, ainsi qu'un montant de 15'300 fr. correspondant aux intérêts de ce prêt. A.c. Le 25 novembre 2005, l'Administration fiscale cantonale genevoise (ci-après: l'Administration fiscale) a procédé, pour les périodes fiscales 2002, 2003 et 2004, à des reprises dans le bénéfice déclaré de la Société en relation avec le prêt accordé à A.A._ et celui accordé à son second actionnaire, détenant 51% des actions, qu'elle a qualifié tous deux de prêts simulés. Le 4 décembre 2006, l'Administration fiscale a effectué une reprise identique dans le chef de la Société au cours de la procédure de taxation pour la période fiscale 2005. Ces reprises n'ont pas été contestées par la Société. A.d. Le 17 août 2009, l'Administration fiscale a notifié aux contribuables des bordereaux d'impôts IFD et ICC 2005, dont il résulte un revenu imposable de 317'000 fr. pour l'IFD, de 312'088 fr. pour l'ICC, ainsi qu'une fortune imposable de 318'128 fr. Les intéressés ont formé réclamation contre ces bordereaux, dirigée toutefois contre un élément de prévoyance professionnelle étranger à la présente affaire. Le 15 avril 2010, au cours de la procédure de réclamation, l'Administration fiscale a informé les contribuables qu'elle entendait rectifier les décisions de taxation 2005 contestées en leur défaveur " en conformité avec la taxation d'IPP du 4 décembre 2006 ", en qualifiant le prêt accordé à A.A._ par la Société de distribution dissimulée de bénéfice, imposable sur le revenu en tant que rendement de participation. Le 28 avril 2010, A.A._ et B.A._ ont sollicité de l'Administration fiscale qu'elle revoie sa position, faisant valoir qu'elle avait admis l'existence du prêt litigieux dans leurs taxations fiscales depuis la période fiscale 2002, que A.A._ avait procédé de fin 2002 à ce jour à des remboursements de sa dette initiale pour un montant total de 580'000 fr. et que les intérêts y relatifs, d'un montant total de 106'000 fr., avaient été capitalisés selon les taux recommandés par l'Administration fédérale des contributions. Par courrier du 7 juin 2012 [recte: 2010], les contribuables ont encore indiqué à l'Administration fiscale qu'un contrat écrit de prêt prévoyant un plan de remboursement avait été signé entre les parties en février 2005, après que dite Administration eut requis de la Société des renseignements relatifs à la période fiscale 2002, concernant notamment le prêt octroyé à A.A._ pour un montant qui s'élevait originellement à 1'340'507.21 fr. B. Par décisions sur réclamation du 16 juillet 2010, l'Administration fiscale a rectifié les bordereaux d'impôt IFD et ICC 2005 des contribuables en leur défaveur, qualifiant le prêt de 695'312 fr. accordé par la Société à A.A._ de distribution dissimulée de bénéfice imposable comme rendement de participation et supprimant la dette envers la Société et les intérêts y relatifs, qui avaient été portés en déduction de la fortune, respectivement du revenu déclarés. Il en résultait, pour la période fiscale 2005, un revenu imposable de 978'000 fr. pour l'IFD et de 972'700 fr. pour l'ICC, ainsi qu'une fortune imposable de 1'013'440 fr. Le 23 juillet 2010, A.A._ et B.A._ ont recouru contre ces décisions sur réclamation auprès de la Commission cantonale de recours en matière administrative, remplacée le 1 er janvier 2011 par le Tribunal administratif de première instance (ci-après: le Tribunal administratif), qui a, par jugement du 12 mars 2012, admis le recours et renvoyé le dossier à l'Administration fiscale pour nouvelles décisions de taxation. L'Administration fiscale a interjeté recours contre ce jugement auprès de la Cour de justice du canton de Genève. Par arrêt du 27 août 2013, la Cour de justice a admis le recours, annulé le jugement du Tribunal administratif du 23 avril 2012 [recte: 12 mars 2012] et rétabli les décisions sur réclamation ainsi que les bordereaux d'impôt du 16 juillet 2010. C. Contre l'arrêt du 27 août 2013, A.A._ et B.A._ forment un recours en matière de droit public auprès du Tribunal fédéral. Ils concluent en substance, sous suite de frais et dépens, à son annulation, à ce que le Tribunal fédéral dise que le prêt accordé à A.A._ par la Société n'est pas une prestation appréciable en argent, mais un " prêt réel " et qu'en conséquence, le Tribunal fédéral renvoie l'affaire à la Cour de justice ou au Tribunal administratif pour nouvelle décision dans le sens des considérants. L'Administration fiscale et l'Administration fédérale des contributions concluent au rejet du recours. La Cour de justice s'en rapporte à justice quant à sa recevabilité et persiste dans les considérants et le dispositif de son arrêt. Par ordonnance du 14 octobre 2013, le Président de la IIe Cour de droit public a rejeté la requête d'effet suspensif contenue dans le recours.