Faits :
A.
A.a. A._, né en 1945, a été associé au sein de la banque B._ (ci-après: la Banque) jusqu'au 31 décembre 2007. Il a été affilié dès le 1er janvier 1971 à la Fondation de prévoyance C._, d'une part, et à la Fondation complémentaire de prévoyance C._, d'autre part.
A.b. Conformément au jugement de divorce prononcé par le Tribunal de première instance de la République et canton de Genève le 13 février 2004, la Fondation de prévoyance C._ et la Fondation complémentaire de prévoyance C._ ont transféré, respectivement, des montants de 4'400'000 fr. et de 3'600'000 fr. sur le compte de libre-passage de l'ex-épouse de A._, au titre du partage des prestations de prévoyance.
En date du 31 décembre 2004, A._ a procédé à un rachat de 1'500'000 fr. dans la Fondation de prévoyance C._ ainsi qu'à un rachat de 1'200'000 fr. dans la Fondation complémentaire de prévoyance C._. Il a en outre procédé à un autre rachat de 2'400'000 fr. dans la seconde fondation en date du 9 mai 2005.
Le 30 septembre 2005, A._ a résilié prématurément la relation de prévoyance complémentaire. La Fondation complémentaire de prévoyance C._ lui a alors versé une prestation en capital de 6'835'845.45 fr. en date du 3 octobre 2005. La déclaration de prestations en capital délivrée par la fondation indiquait que le versement avait eu lieu du fait de la résiliation prématurée en raison de "radiation affiliation indépen" (sic) (cf. <ref-law>).
Le 31 décembre 2006, A._ a procédé à un rachat de 2'900'000 fr. dans la Fondation de prévoyance C._.
A.c. L'intéressé a pris sa retraite avec effet au 1er janvier 2008. La Fondation de prévoyance C._ lui a alors versé un montant de 8'390'824 fr. au titre de prestation de retraite.
B.
Le 7 novembre 2006, A._ a adressé à l'Administration fiscale cantonale de la République et canton de Genève (ci-après: l'Administration fiscale cantonale) sa déclaration fiscale 2005. Il y déduisait le montant de 2'400'000 fr. qu'il avait versé le 9 mai 2005 à la fondation de prévoyance complémentaire, au titre de rachat de prévoyance professionnelle.
Le 1er septembre 2009, l'Administration fiscale cantonale a communiqué à A._ un bordereau pour les impôts cantonal et communal 2005 (ci-après: ICC 2005) et un bordereau pour l'impôt fédéral direct 2005 (ci-après: IFD 2005). Dans les deux cas, elle refusait la déduction du rachat de 2'400'000 fr. opéré le 9 mai 2005, une telle déduction étant considérée comme un abus de droit lorsque le versement d'une prestation en capital intervenait la même année que le rachat ou l'année suivante.
Par décisions du 16 juin 2015, l'Administration fiscale cantonale a rejeté les réclamations de A._ contre les taxations susmentionnées, avec une motivation identique.
Par jugement du 31 octobre 2016, le Tribunal administratif de première instance de la République et canton de Genève a rejeté les recours que A._ avait déposés contre les deux décisions sur réclamation précitées. Par arrêt du 24 juillet 2018, la Chambre administrative de la Cour de justice de la République et canton de Genève (ci-après: la Cour de justice) a également rejeté le recours déposé successivement devant elle contre le jugement précité.
C.
A._ interjette un recours en matière de droit public auprès du Tribunal fédéral contre l'arrêt de la Cour de justice du 24 juillet 2018. Il conclut à l'annulation de celui-ci, ainsi qu'à la déduction du rachat LPP de 2'400'000 fr. effectué auprès de la Fondation complémentaire de prévoyance C._ dans le cadre des ICC 2005 et de l'IFD 2005. Subsidiairement, il demande au Tribunal fédéral de dire qu'il a droit à une telle déduction et de renvoyer la cause pour nouvelle décision au sens des considérants à la Cour de justice, respectivement à l'Administration fiscale cantonale. Plus subsidiairement, il conclut à l'annulation de l'arrêt cantonal attaqué et au renvoi de la cause à la Cour de justice pour nouvelle instruction des faits.
La Cour de justice n'a pas déposé d'observations sur le présent recours, persistant dans les considérants et le dispositif de son arrêt. L'Administration fiscale cantonale a conclu au rejet du recours, à l'instar de l'Administration fédérale des contributions. Le recourant a répliqué et l'Administration fiscale cantonale dupliqué. Le recourant a déposé d'ultimes observations.

Considérant en droit :
I. Recevabilité, points de procédure et établissement des faits
1.
Le Tribunal fédéral examine d'office sa compétence (<ref-law>). Il contrôle librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 116).
1.1. Le présent recours, qui a pour objet la taxation du recourant s'agissant des ICC 2005 et de l'IFD 2005, est dirigé contre une décision finale (<ref-law>), rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (<ref-law>) ne tombant sous le coup d'aucune des exceptions prévues à l'<ref-law>. Il est donc en principe recevable comme recours en matière de droit public s'agissant des deux catégories d'impôts visés en l'espèce (cf. art. 146 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct [LIFD; RS 642.11], art. 73 al. 1 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes [LHID; RS 642.14]; <ref-ruling> consid. 1.3 p. 188 s.).
1.2. La Cour de justice a rendu un seul arrêt valant tant pour l'impôt fédéral direct que pour l'impôt cantonal et communal du recourant, ce qui est en principe admissible, dès lors qu'il ressort clairement dudit arrêt que le litige porte sur les deux catégories d'impôts (cf. <ref-ruling> consid. 1.3.1 p. 262; arrêt 2C_576/2016 du 6 mars 2017 consid. 1.1 non publié in <ref-ruling>). Dans ces circonstances, on ne peut pas reprocher au recourant d'avoir formé les mêmes griefs et pris des conclusions valant pour l'IFD et les ICC dans son recours devant le Tribunal fédéral (cf. <ref-ruling> consid. 1.3.3 p. 264).
1.3. Au surplus, le recours a été interjeté en temps utile (cf. <ref-law>), par le destinataire de l'arrêt attaqué, qui a qualité pour recourir (<ref-law>). Il convient donc d'entrer en matière. Tout au plus ne sera-t-il pas tenu compte des différents renvois et références aux précédentes écritures contenus dans le mémoire de recours. En effet, la motivation d'un recours doit être complète (cf. <ref-law>), de sorte qu'il n'est pas admissible de renvoyer à une écriture antérieure (arrêts 2C_786/2015 du 23 mai 2016 consid. 1.3; 4A_709/2011 du 31 mai 2012 consid. 1.1; 4A_609/2011 du 13 février 2012 consid. 3.2).
2.
2.1. Saisi d'un recours en matière de droit public, le Tribunal fédéral applique le droit d'office (<ref-law>). Conformément à l'<ref-law> et en dérogation à l'<ref-law>, le Tribunal fédéral ne connaît toutefois de la violation des droits fondamentaux, ainsi que de celle de dispositions de droit cantonal, que si le grief a été invoqué et motivé par le recourant, à savoir exposé de manière claire et détaillée (<ref-ruling> consid. 1.7.2 p. 106; <ref-ruling> consid. 1.3 p 41). Le grief de violation du droit cantonal ne peut en principe pas être soulevé dans un recours devant le Tribunal fédéral. En revanche, il est toujours possible de faire valoir que la mauvaise application du droit cantonal constitue une violation du droit fédéral, en particulier qu'elle est arbitraire au sens de l'art. 9 Cst. ou contraire à un droit fondamental (cf. <ref-ruling> consid. 4.3 p. 176; <ref-ruling> consid. 4.3 p. 521 s.; <ref-ruling> consid. 2.3 p. 466). Hormis cette exception, le Tribunal fédéral n'est pas lié par les motifs de l'autorité précédente ni par les moyens des parties; il peut donc admettre le recours pour d'autres motifs que ceux invoqués par le recourant, comme il peut le rejeter en opérant une substitution de motifs (cf. <ref-ruling> consid. 1.4 p. 400; <ref-ruling> consid. 1.4.1 p. 254; arrêt 2C_370/2014 du 9 février 2015 consid. 3).
Il est précisé qu'en application des principes qui précèdent, le Tribunal fédéral vérifie librement la conformité du droit fiscal cantonal harmonisé et son application par les instances cantonales aux dispositions de la LHID, sauf si cette loi laisse une certaine marge de manoeuvre aux cantons, auquel cas l'examen du Tribunal fédéral est limité à l'examen de la violation de droits constitutionnels dûment invoqués, en particulier celui de l'interdiction de l'arbitraire (cf. <ref-ruling> consid. 2 p. 210).
2.2. Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si les faits ont été constatés de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire (<ref-ruling> consid. 2.4 p. 313 s.) - ou en violation du droit au sens de l'<ref-law> (<ref-law>), et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause (cf. <ref-law>). La partie recourante qui entend s'écarter des constatations de l'autorité précédente doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées. A défaut d'une telle motivation, il n'est pas possible de prendre en considération un état de fait qui diverge de celui contenu dans la décision attaquée, ni des faits qui n'y sont pas constatés (arrêt 2C_777/2015 du 26 mai 2016 consid. 2 non publié in <ref-ruling>).
Il découle de ce qui précède qu'il ne sera pas tenu compte des faits et des moyens de preuves que le recourant expose à titre préliminaire dans son mémoire de recours et qui ne sont pas contenus dans l'arrêt entrepris, dès lors qu'il n'explique pas en quoi les conditions qui viennent d'être rappelées seraient réunies, mais discute les faits comme devant une autorité d'appel, ce qui n'est pas admissible devant le Tribunal fédéral.
3.
Soulevant un grief de nature formelle qu'il convient d'examiner en premier lieu (<ref-ruling> consid. 3 p. 563; <ref-ruling> consid. 3 p. 191; <ref-ruling> consid. 2.2), le recourant se plaint d'une violation de son droit d'être entendu consacré à l'art. 29 al. 2 Cst. Il reproche en particulier à l'arrêt attaqué d'être insuffisamment motivé et de ne pas se prononcer sur les griefs qu'il avait soulevés sur le plan cantonal, ce en violation des exigences découlant de ce droit constitutionnel, mais aussi de l'<ref-law>.
3.1. Aux termes de l'<ref-law>, les décisions qui peuvent faire l'objet d'un recours au Tribunal fédéral doivent indiquer les motifs déterminants de fait et de droit sur lesquels l'autorité s'est fondée. Si la décision attaquée ne satisfait pas à ces exigences, le Tribunal fédéral peut soit la renvoyer à l'autorité cantonale en invitant celle-ci à la parfaire, soit l'annuler (<ref-law>). La LTF concrétise de cette manière le droit constitutionnel d'être entendu (art. 29 al. 2 Cst.), qui comprend l'obligation pour l'autorité de motiver sa décision, afin que l'intéressé puisse la comprendre, l'attaquer utilement s'il y a lieu et que l'autorité de recours puisse exercer son contrôle (<ref-ruling> consid. 2.6 p. 73; <ref-ruling> consid. 4.1 p. 88). Le juge doit ainsi mentionner, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision, de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause. Il n'a toutefois pas l'obligation d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties, mais peut au contraire se limiter à l'examen des questions décisives pour l'issue du litige (<ref-ruling> consid. 3.2.1 p. 564 s.; <ref-ruling> consid. 4.1 p. 88 et les arrêts cités). La motivation peut au demeurant être implicite et résulter des différents considérants de la décision (<ref-ruling> consid. 3.2.1 p. 565; arrêt 2C_12/2017 du 23 mars 2018 consid. 3.3.1 non publié in <ref-ruling>).
3.2. En l'occurrence, le recourant reproche à la Cour de justice de n'avoir pas exposé clairement les raisons qui l'avaient conduite à retenir que le rachat de 2'400'000 fr. intervenu le 9 mai 2005 auprès de la Fondation complémentaire de prévoyance C._ avait été opéré dans le seul but de réaliser une économie d'impôts. Il se plaint en particulier du fait que l'autorité cantonale n'aurait pas pris la peine de faire état des motifs qui l'ont poussée à négliger les circonstances particulières de la cause, pourtant alléguées et étayées par pièces, ignorant, sans donner d'explications, sa déclaration selon laquelle les rachats de prévoyance avaient été étalés sur plusieurs années par bienveillance à l'égard des finances du canton de Genève. Les juges cantonaux auraient également écarté, sans motifs, l'allégation selon laquelle le retrait du capital de prévoyance complémentaire à l'automne 2005 résultait de circonstances extérieures et postérieures au rachat de prévoyance litigieux sur lesquelles le recourant n'avait eu aucune emprise.
3.3. Les critiques du recourant tombent à faux. Il résulte clairement de l'arrêt entrepris, même s'il n'est que brièvement motivé, que les juges cantonaux ont accordé un poids déterminant au fait que le rachat de 2'400'000 fr. était intervenu de manière exceptionnelle en cours d'année - et non à la fin de celle-ci, comme les précédents - et, surtout, quelques mois seulement avant que le capital de prévoyance complémentaire ne soit finalement retiré. Cet enchaînement des évènements a amené l'autorité précédente à considérer que le rachat était insolite et qu'il n'avait pas été effectué à des fins de prévoyance, mais uniquement à des fins fiscales. Il ressort pour le reste de l'arrêt attaqué que la Cour de justice n'a pas ignoré les "explications du contribuable relatives à la résiliation anticipée de la relation avec la fondation de prévoyance complémentaire", s'y référant d'ailleurs expressément (cf. consid. 8 en droit de l'arrêt attaqué). Elle a cependant estimé, à tout le moins implicitement, que ces explications n'étaient pas propres à modifier son avis, certaines renforçant au contraire le constat selon lequel le rachat de 2'400'000 fr. effectué en mai 2005 constituait un procédé insolite. En réponse à l'argumentation du recourant, l'autorité précédente a notamment relevé que sa prétendue crainte de ne plus pouvoir retirer les montants investis dans la prévoyance professionnelle après 2005 pour compenser une éventuelle sortie des associés de la Banque aurait normalement dû le conduire à renoncer à tout rachat de prévoyance cette année-là, s'il avait réellement voulu être certain de préserver la libre disponibilité de ses liquidités.
L'argumentation de l'arrêt cantonal, qui est rédigée d'une manière claire et intelligible, constitue une motivation suffisante à l'aune de l'art. 29 al. 2 Cst. et de l'<ref-law>. En la contestant par le biais d'un mémoire de plus de soixante pages, à la limite de la prolixité prohibée par l'<ref-law> qui commande une motivation succincte (cf. arrêt 2C_32/2016 du 24 novembre 2016 consid. 1.2), le recourant démontre du reste qu'il en a manifestement compris le sens et la portée.
3.4. Le grief du recourant selon lequel le Tribunal cantonal aurait violé son droit à obtenir une décision motivée et à voir ses griefs pertinents traités doit donc être rejeté.
4.
Le recourant se prévaut d'une autre violation de son droit d'être entendu en ce sens qu'il reproche à la Cour de justice d'avoir omis les preuves pertinentes qu'il avait soumises en lien avec les circonstances du rachat et du retrait en capital de son avoir de prévoyance complémentaire en 2005.
4.1. Le droit d'être entendu garanti par l'art. 29 al. 2 Cst. comprend notamment le droit pour l'intéressé de s'exprimer sur les éléments pertinents avant qu'une décision ne soit prise touchant sa situation juridique, de produire des preuves pertinentes, d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes, de participer à l'administration des preuves essentielles ou à tout le moins de s'exprimer sur son résultat, lorsque cela est de nature à influer sur la décision à rendre (<ref-ruling> consid. 2.3 p. 222 s. et les références citées). L'autorité peut cependant renoncer à procéder à des mesures d'instruction lorsque les preuves administrées lui ont permis de former sa conviction et que, procédant d'une manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, elle a la certitude que ces dernières ne pourraient l'amener à modifier son opinion (<ref-ruling> consid. 6.3.1 p. 299 et les références citées).
4.2. En l'occurrence, comme expliqué ci-avant, il ressort de l'arrêt attaqué que la Cour de justice a estimé que, telles qu'alléguées par le recourant, les circonstances prétendument particulières du rachat et du retrait de prévoyance survenus en 2005 ne lui apparaissaient pas pertinentes s'agissant de l'issue à donner au présent litige. Contrairement à ce que le recourant affirme, la Cour de justice n'a donc pas refusé sans raison des moyens de preuve régulièrement offerts, ni refusé de prendre en considération un allégué. Elle a seulement estimé qu'ils n'étaient pas propres à modifier son opinion selon laquelle le recourant avait opéré un rachat de manière étrange en 2005, juste avant de retirer la même année son capital de la fondation de prévoyance, afin d'obtenir une réduction de son revenu imposable. Ce n'est dès lors pas d'une violation de son droit d'être entendu dont le recourant se plaint, mais bien plus de l'appréciation des preuves qui a été opérée par l'autorité précédente pour aboutir à ce constat.
5.
Le recourant reproche en l'espèce aussi à la Cour de justice d'avoir établi les faits de manière arbitraire, de même qu'en violation des règles régissant le fardeau de la preuve en matière fiscale.
5.1. Selon la jurisprudence, l'appréciation des preuves est arbitraire lorsqu'elle est manifestement insoutenable, en contradiction avec le dossier, ou lorsque l'autorité ne tient pas compte, sans raison sérieuse, d'un élément propre à modifier la décision, se trompe sur le sens et la portée de celui-ci ou, se fondant sur les éléments recueillis, en tire des conclusions insoutenables (<ref-ruling> consid. 2.3 p. 266 et les références). Il appartient en général à l'autorité de taxation d'établir les faits qui fondent la créance d'impôt ou qui l'augmentent, alors que le contribuable doit alléguer et prouver les faits qui suppriment ou réduisent cette créance (<ref-ruling> consid. 3.5 p. 252; <ref-ruling> consid. 4.3 p. 158; <ref-ruling> consid. 2 p. 256/257).
5.2. Dans ses écritures, le recourant affirme en substance que l'autorité cantonale aurait établi les faits de manière arbitraire et en violation du fardeau de la preuve sur plusieurs points en retenant que le rachat effectué en mai 2005 avait été guidé par une volonté d'économiser des impôts. Il aurait démontré que le rachat litigieux en l'espèce avait eu lieu cette année-là - et non immédiatement en 2004 en même temps que le précédent rachat effectué auprès de la Fondation complémentaire de prévoyance C._ - afin d'échelonner les rachats liés à son divorce sur plusieurs années, par bienveillance pour les finances de la République et canton de Genève. Il aurait en outre prouvé qu'au moment dudit rachat, il lui était impossible de savoir qu'il allait retirer son capital de prévoyance quelques mois plus tard. Il aurait établi qu'un tel retrait avait résulté d'une décision collective ultérieure des associés de la Banque.
5.3. Il n'est en l'occurrence pas nécessaire d'examiner ces griefs relatifs à l'établissement des faits. Ils ont trait à la question de savoir si le recourant a eu comportement insolite en opérant le rachat de 2'400'000 fr. litigieux en l'espèce et si ce versement a eu pour seul but d'économiser des impôts, c'est-à-dire s'il est constitutif d'une évasion fiscale. Or, comme on le verra, les réponses qui pourraient être apportées à ces différentes questions de fait n'ont pas d'influence décisive sur l'issue du litige, le caractère déductible du rachat devant de toute manière être niée en l'espèce en raison de la non-affectation du capital reçu - et donc du rachat litigieux - à la prévoyance professionnelle (cf. infra consid. 7.8 et 7.9). Il n'est partant pas nécessaire de trancher les griefs s'y rapportant.
6.
Sur le fond, le litige porte exclusivement sur le point de savoir si les 2'400'000 fr. que le recourant a versés à sa fondation de prévoyance complémentaire le 9 mai 2005 peuvent être déduits de son revenu imposable s'agissant de l'IFD 2005 et des ICC 2005 au titre de rachat de prévoyance.
II. Impôt fédéral direct
7.
7.1. Les cotisations que les salariés et les indépendants versent à des institutions de prévoyance conformément à la loi ou aux dispositions réglementaires sont déductibles des impôts directs de la Confédération, des cantons et des communes (art. 81 al. 2 de la loi fédérale du 25 juin 1982 sur la prévoyance professionnelle vieillesse, survivants et invalidité [LPP, RS 831.40]). Cette disposition a été reprise par l'art. 33 al. 1 lettre d LIFD selon lequel les primes, cotisations et montants légaux, statutaires ou réglementaires versés à des institutions de la prévoyance professionnelle sont déduits du revenu. Les déductions autorisées par cet article valent pour les versements périodiques et les versements uniques pour le rachat d'années d'assurance, qu'ils soient effectués dans le domaine de la prévoyance obligatoire ou de la prévoyance surobligatoire (cf. <ref-ruling> consid. 4.2 p. 633). Cette déduction suppose toutefois que l'on ne soit pas en présence d'un cas d'évasion fiscale (arrêts 2C_658/2009 du 12 mars 2010 consid. 2.1; aussi 2C_243/2013 du 13 septembre 2013 consid. 4.1).
7.2. Selon la jurisprudence, il y a évasion fiscale lorsque les conditions suivantes sont réunies:
a) la forme juridique choisie par le contribuable paraît insolite, inappropriée ou étrange, en tout cas inadaptée au but économique poursuivi;
b) ce choix a été opéré abusivement, dans le seul but d'économiser des impôts qui seraient dus si les rapports de droit avaient été aménagés de façon appropriée;
c) le procédé conduirait effectivement à une notable économie d'impôt s'il était admis par l'autorité fiscale.
Lorsque ces conditions sont remplies, l'imposition doit être fondée non pas sur la forme juridique choisie par le contribuable, mais sur la situation qui aurait été appropriée au but économique poursuivi par celui-ci (<ref-ruling> consid. 5.2 p. 635 s.; aussi arrêt 2C_462/2008 du 20 mars 2009 consid. 7 non publié in <ref-ruling>).
7.3. Selon l'<ref-law>, en vigueur depuis le 1er janvier 2006, les prestations résultant d'un rachat ne peuvent être versées sous forme de capital par les institutions de prévoyance avant l'échéance d'un délai de trois ans. La jurisprudence a retenu que cette disposition, si elle relevait en premier lieu de la prévoyance professionnelle, avait aussi été adoptée pour des raisons fiscales (arrêt 2C_658/2009 du 12 mars 2010 consid. 3.3, confirmé notamment in arrêt 2C_614/2010 du 24 novembre 2010). Ces arrêts ont souligné qu'il ressortait de la genèse, la teneur et la systématique de l'<ref-law> que cette disposition reprenait et concrétisait la notion d'évasion fiscale et pouvait ainsi aboutir, si les conditions étaient remplies, au refus de la déduction du revenu imposable des rachats litigieux (arrêt 2C_614/2010 précité consid. 3.1.2). En effet, le but du rachat est de mettre en place, respectivement d'améliorer la prévoyance professionnelle. Ce but est ainsi manifestement détourné lorsque ces mêmes montants, peu de temps après le rachat, sont à nouveau sortis de la prévoyance (arrêt 2C_43/2010 du 18 juin 2010 consid. 2.1.2). Par conséquent, tout versement d'une prestation en capital effectué dans les trois ans suivant un rachat doit, en général, être considéré comme abusif et, partant, ce rachat ne saurait être déduit du revenu imposable (<ref-ruling> consid. 4.1 p. 407 s.; 2C_1051/2014 du 30 juin 2015 consid. 3 et les arrêts cités). Font exception à cette règle les rachats effectués après un divorce ou une dissolution judiciaire du partenariat enregistré. En application de l'<ref-law>, de tels rachats ne sont pas soumis au délai de blocage de trois ans prévu à l'<ref-law>. Ils peuvent toutefois être constitutifs d'évasion fiscale en fonction des circonstances concrètes (<ref-ruling> consid. 3 et 4 p. 401 ss; aussi arrêt 2C_895/2016 du 14 juin 2017 consid. 2.6).
7.4. S'agissant plus spécialement des cotisations et des montants versés par des indépendants à une institution de prévoyance professionnelle à titre facultatif, notamment ceux effectués à titre de rachat, l'<ref-law> prévoit, depuis le 1er janvier 2005, qu'ils doivent être affectés durablement à la prévoyance professionnelle. Cette disposition a été introduite lors de la 1ère révision de la LPP sur proposition de la Commission de la sécurité sociale et de la santé du Conseil national (sur la genèse de cette disposition, cf. <ref-ruling> ss). A l'instar de l'<ref-law> précité, qui a été adopté simultanément, elle était censée prévenir certains comportements abusifs consistant, pour une personne assurée à titre facultatif, à se faire verser en espèces le capital de prévoyance constitué en bénéficiant d'avantages fiscaux, afin de l'affecter à la consommation, soit dans un but étranger à la prévoyance professionnelle (cf. BO 2003 N 624, proposition Bortoluzzi). Autrement dit, l'<ref-law> a été adopté afin d'éviter des abus d'ordre fiscal, à tout le moins indirectement (cf. notamment JACQUES-ANDRÉ SCHNEIDER, L'institution de prévoyance professionnelle des indépendants, RSAS 2009 81, nos 40-45; MARINA ZÜGER, Steuerliche Missbräuche nach Inkrafttreten der 1. BVG-Revision, ASA 75 513, spéc. 531). L'idée de cette nouvelle règle n'a toutefois jamais été d'empêcher un indépendant de retirer son capital de prévoyance pour acquérir la propriété de son logement ou effectuer des investissements servant à maintenir la valeur de son entreprise. Sur la base d'une interprétation historique et systématique de l'<ref-law>, le Tribunal fédéral est ainsi parvenu à la conclusion que cette disposition n'interdisait pas le versement anticipé ou le paiement en espèces du capital de prévoyance dans des limites clairement établies, notamment aux fins d'investissements dans l'entreprise (<ref-ruling> consid. 4.4 p. 180; aussi arrêt 2C_462/2008 du 20 mars 2009 consid. 6.1 non publié in <ref-ruling>; 2C_43/2010 du 18 juin 2010 consid. 2.3.1).
7.5. En l'occurrence, dans l'arrêt attaqué, la Cour de justice a estimé que l'<ref-law> ne s'appliquait pas au cas d'espèce, car le rachat de prévoyance litigieux opéré le 9 mai 2005 datait d'avant l'entrée en vigueur de cette disposition. Il serait en revanche manifeste, selon elle, que le rachat effectué le 9 mai 2005, qui a pour ainsi dire été "remboursé" le 3 octobre 2005, s'apparenterait à une opération de va-et-vient de fonds insolite ayant pour unique but d'obtenir une déduction fiscale en application de l'art. 33 al. 1 let. d LIFD. Les juges cantonaux ont ainsi considéré que le rachat de 2'400'000 fr. effectué auprès de la Fondation complémentaire de prévoyance C._ ne pouvait être déduit du revenu du recourant, dans la mesure où il s'assimilait à un cas d'évasion fiscale.
7.6. Le recourant conteste le raisonnement de la Cour de justice. Il reproche notamment à celle-ci de n'avoir pas tenu compte de l'art. 79b al. 3 et 4 LPP au moment d'apprécier la question de l'existence d'un cas d'évasion fiscale. D'après lui, cette norme "anti-abus", qui a été adoptée en octobre 2003, c'est-à-dire avant le rachat litigieux de mai 2005, codifie la jurisprudence en matière d'évasion fiscale liée à des rachats de prévoyance. Or, elle ne conditionnerait les rachats consécutifs à un divorce à aucun délai d'attente. Le recourant prétend également que le retrait du capital de prévoyance effectué en octobre 2005 résulterait de circonstances extérieures, postérieures au rachat, sur lesquelles il n'aurait pas eu d'emprise, de sorte que les conditions de l'évasion fiscale ne seraient pas remplies. Le retrait aurait notamment eu lieu en urgence après que le Conseil fédéral avait renoncé à son projet d'inscrire expressément, dans une ordonnance, la faculté, pour des indépendants, de retirer leurs capitaux du deuxième pilier pour l'investir dans leurs entreprises.
7.7. En l'occurrence, il est établi que le rachat de 2'400'000 fr. que le recourant entend pouvoir déduire de son revenu 2005 a complété un premier rachat de 1'200'000 fr. effectué en décembre 2004 auprès de la Fondation complémentaire de prévoyance C._. Ces deux versements sont intervenus après le divorce du recourant prononcé en février 2004. Ils compensent exactement le montant que ladite fondation a dû transférer à l'épouse du recourant après leur divorce, à savoir 3'600'000 fr. Le fait que ce dernier ait effectué le second rachat à la suite de son divorce, moins de trois ans avant d'avoir pris sa retraite fin 2007 n'est pas insolite en soi. Il s'avère en revanche étrange que l'intéressé ait décidé en 2005 de l'opérer en milieu d'année, alors même qu'il avait effectué ses autres rachats en fin d'année (soit le 31 décembre 2004 et le 31 décembre 2006), et, surtout, quelques mois seulement avant de mettre un terme à sa relation avec la Fondation complémentaire de prévoyance C._, en date du 30 septembre 2005, et de demander le versement de son avoir en capital. La question de savoir si le recourant a commis un abus constitutif d'évasion fiscale au regard de ces circonstances peut toutefois rester ouverte. Il s'avère que le rachat opéré en 2005 ne peut de toute manière pas être déduit du revenu du recourant dans la mesure où il a été suivi du versement d'une prestation en capital qui n'entre pas dans le cadre de l'<ref-law>.
7.8. Il ressort en effet de l'arrêt attaqué, d'une manière qui lie la Cour de céans (cf. <ref-law>), que la prestation en capital de 6'835'845.45 fr. qu'a retirée le recourant en octobre 2005, alors qu'il venait d'avoir 61 ans et qu'il exerçait toujours une activité lucrative, n'a été affectée à aucune autre forme de maintien de prévoyance, contrairement à ce qu'imposait déjà l'<ref-law>. Elle n'a pas non plus servi à financer la part du capital de sortie d'éventuels associés qui se seraient retirés de la Banque avant que le recourant ne prenne sa retraite fin 2007, comme l'aurait permis la disposition précitée qui autorise les versements en capital visant des investissements dans l'entreprise (cf. la jurisprudence citée supra consid. 7.4). Dans son arrêt, l'autorité précédente relève que le recourant n'a même jamais démontré qu'il était prévisible, en automne 2005, que le capital reçu de la Fondation complémentaire de prévoyance C._ dût être en tout ou en partie utilisé à cette fin. Cet absence de réinvestissement du montant perçu et de tout projet concret en ce sens n'est du reste pas contestée par le recourant qui prétend uniquement avoir retiré son avoir sous forme de capital par peur que cet argent ne soit plus disponible pour financer les parts du capital de sortie des associés qui se retiraient. L'intéressé fait à cet égard grand cas du projet de disposition l'y autorisant prétendument expressément qui a été un temps envisagé par le Conseil fédéral avant d'être abandonné durant l'année 2005 dans le cadre de la révision de l'ordonnance du 18 avril 1984 sur la prévoyance professionnelle vieillesse, survivants et invalidité du 18 avril 1984 (OPP 2, RS 831.441.1). Il reconnaît toutefois n'avoir jamais utilisé les fonds reçus pour financer la sortie de l'un ou de plusieurs de ses associés dans le laps de temps qui le séparait de la retraite. Il concède même qu'au moment de la sortie de la Fondation complémentaire en septembre 2005, il ne savait pas si et dans quelle mesure il serait effectivement et personnellement amené à devoir le faire.
Il convient enfin de relever, à toutes fins utiles, qu'un réinvestissement du capital LPP à la fin 2005 n'aurait pas forcément été conforme au projet de révision de l'OPP 2 dont se prévaut le recourant et dont l'abandon aurait conduit au retrait du capital accumulé auprès de la Fondation complémentaire de prévoyance C._. Cette disposition prévoyait qu'il était possible d'exiger un retrait anticipé unique pour des investissements dans l'entreprise si ce retrait anticipé était demandé "jusqu'à trois ans avant la naissance du droit aux prestations de vieillesse" (cf. <ref-ruling> consid. 3.3 p. 173; aussi Office fédéral de assurances sociales OFAS, Bulletin de la prévoyance professionnelle no 106 du 19 mai 2008, N 643). Or, en l'espèce, le recourant a pris sa retraite à la fin 2007, soit moins de trois ans après avoir effectué le rachat litigieux en l'espèce.
7.9. Il s'avère ainsi que le recourant a versé le 9 mai 2005 un montant de 2'400'000 fr. à titre de rachat à sa fondation de prévoyance complémentaire et que ce montant lui a été rétrocédé aussitôt, à savoir la même année, sous forme d'un capital qui n'a pas été utilisé à des fins de prévoyance professionnelle, ni investi dans la Banque dont il était l'un des associés. Autrement dit, le recourant a immédiatement récupéré, durant la même période fiscale, la libre disposition d'une somme précédemment versée en vue d'un rachat de prévoyance en opérant un retrait contraire à l'<ref-law>. Dès lors que cette disposition légale, qui venait d'entrer en vigueur le 1er janvier 2005, a précisément pour fonction d'éviter les abus fiscaux, cette circonstance suffit à elle seule à refuser au recourant le droit de déduire son rachat de son revenu imposable. À l'instar de ce qui prévaut s'agissant des rachats opérés en violation de l'<ref-law>, il n'est pas nécessaire de vérifier si la situation concrète remplit également les conditions générales de l'évasion fiscale, comme certains indices le laissent transparaître (rachat effectué en milieu d'année, versement en capital quatre mois après le rachat, etc.).
7.10. Sur le vu de ce qui précède, c'est à juste titre que le montant versé par le recourant à la Fondation complémentaire de prévoyance C._ à titre de rachat le 9 mai 2005 n'a pas été déduit du revenu déterminant en matière d'IFD. Le recours doit donc être rejeté par substitution de motifs en tant qu'il concerne l'IFD 2005.
III. Impôts cantonal et communal
8.
Conformément à l'art. 9 al. 2 let. d LHID, l'art. 2 let. b de la loi genevoise du 22 septembre 2000 sur l'imposition des personnes physiques - Détermination du revenu net - Calcul de l'impôt préalable et rabais d'impôt - Compensation des effets de la progression à froid (aLIPP-V, RSGE D 3 16), abrogée au 31 décembre 2009 (cf. art. 9 al. 1 let. e de la loi cantonale du 27 septembre 2009 sur l'imposition des personnes physiques [LIPP/GE, RS/GE D308]), prévoyait, dans sa version en vigueur au 31 décembre 2005, que "les versements du contribuable dans un but de prévoyance" étaient déduits du revenu s'ils étaient faits en vue d'acquérir des droits dans une institution de prévoyance professionnelle "au sens et dans les limites du droit fédéral". La teneur du droit cantonal harmonisé déterminant est ainsi semblable à celle de l'art. 33 al. 1 let. d LIFD. S'agissant de l'impôt cantonal et communal dû par les recourants pour l'année fiscale 2011, il peut ainsi être renvoyé à la motivation qui vient d'être développée à propos de la LIFD, la jurisprudence rendue en matière d'impôt fédéral direct étant en principe valable pour l'application des dispositions cantonales harmonisées correspondantes (cf. notamment arrêt 2C_462/2008 du 20 mars 2009 consid. 9, non publié in <ref-ruling>). Il en découle que le montant de 2'400'000 fr. versé par le recourant en 2005 au titre de rachats après divorce ne peut être déduit de son revenu imposable pour les impôts précités.
Partant, en tant qu'il concerne l'ICC 2005, le recours doit être rejeté pour les mêmes motifs que ceux exposés ci-dessus s'agissant de l'IFD 2005.
9.
Succombant, le recourant doit supporter un émolument judiciaire (<ref-law>). Il ne sera pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté en tant qu'il concerne l'impôt fédéral direct pour la période fiscale de 2005.
2.
Le recours est rejeté en tant qu'il concerne les impôts cantonal et communal pour la période fiscale de 2005.
3.
Les frais judiciaires, arrêtés à 12'000 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué au mandataire du recourant, à l'Administration fiscale cantonale du canton de Genève, à la Cour de justice de la République et canton de Genève, Chambre administrative, en section, et à l'Administration fédérale des contributions.
Lausanne, le 18 septembre 2019
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Jeannerat