Faits : A. Le Groupe TVA A._ est inscrit en tant qu'entité assujettie à la taxe sur la valeur ajoutée (TVA) dans le registre TVA de l'Administration fédérale des contributions (ci-après : l'AFC) depuis le 1er janvier 1996. Entre 2010 et 2014, il comptait trois membres, à savoir A._ (Suisse) SA, A._, succursale de Zurich, et A._ (Lugano-Svizzera) SA. Cette dernière société a fusionné avec A._ (Suisse) SA et a été radiée du Registre du commerce en date du 29 avril 2016. B. Le Groupe TVA A._ a fait l'objet d'un contrôle externe de la part de l'Administration fédérale des contributions (ci-après : l'AFC) portant sur les années 2010 à 2014. A la suite de ce contrôle, l'AFC a adressé, le 22 août 2016, au groupe TVA précité une notification d'estimation no ****** qui fixait les montants de la créance de TVA pour les années 2010 à 2014 à, respectivement, 1'231'828 fr. pour 2010, 1'477'927 fr. pour 2011, 2'304'083 fr. pour 2012, 2'962'063 fr. pour 2013 et 3'673'053 fr. pour 2014. L'AFC se prévalait ainsi d'une correction de l'impôt en sa faveur de 6'429'911 fr. correspondant à la différence entre l'impôt dû durant les années en question et celui déclaré et payé par le groupe pour celles-ci. Le Groupe TVA A._ ayant contesté cette notification d'estimation, l'AFC a rendu, en date du 2 octobre 2017, une décision formelle reprenant intégralement les corrections de TVA susmentionnées. Le groupe TVA intéressé a soulevé une réclamation contre cette décision, que l'AFC a rejetée le 7 mars 2018, confirmant par là même sa décision précédente. Le Groupe TVA A._ ainsi que ses membres, agissant collectivement et individuellement, ont interjeté recours auprès du Tribunal administratif fédéral contre la décision sur réclamation de l'AFC susmentionnée. Outre la soumission à TVA de certaines prestations acquises à l'étranger, ils contestaient que les prestations qu'ils avaient offertes à A._ Paris ainsi qu'à sa filiale luxembourgeoise A._ Bank & Trust soient, par principe, exclues du champ de l'impôt, une telle exclusion conduisant en l'occurrence à une réduction du taux de récupération de l'impôt préalable. Ils demandaient la réforme de l'arrêt attaqué en ce sens que la correction de TVA en faveur de l'AFC pour les années 2010 à 2014 soit réduite à 800'981 fr. 88, au lieu de s'élever à 6'429'911 fr. Le Tribunal administratif fédéral a rejeté le recours par arrêt du 24 octobre 2019. C. A._, succursale de Zurich (ci-après : la recourante 1), A._ (Suisse) SA (ci-après : la recourante 2) et sa succursale de Lugano (A._ SA, succursale di Lugano [ci-après : la recourante 3]), déclarant agir de manière individuelle et collective, de même que le Groupe TVA A._ (ci-après : le groupe TVA recourant), déposent un recours en matière de droit public au Tribunal fédéral contre l'arrêt du Tribunal administratif fédéral précité. Ils demandent que les prestations de services fournies à A._ Paris ainsi qu'à A._ Bank & Trust soient qualifiées de prestations d'"apporteurs d'affaires" et non d'"intermédiation financière". Ils concluent à ce que le montant de la correction de l'impôt préalable soit réduit de 5'259'190 fr. 18 et que, partant, le montant de l'impôt en faveur de l'AFC soit fixé à 1'170'720 fr. 82. Ils demandent enfin que l'AFC soit condamnée à leur payer un intérêt rémunératoire sur le montant de 5'259'190 fr. 18, ainsi qu'à leur rembourser les intérêts moratoires acquittés sur ce même montant. Invité à se déterminer sur le recours, le Tribunal administratif fédéral a déclaré se référer entièrement à son arrêt. L'AFC, qui a pour sa part déposé des observations sur le recours, conclut à son rejet.