Faits : A. A.a. B._ SA (ci-après la défenderesse, l'intimée) est une société notamment active dans le domaine de l'immobilier ayant son siège à X._ (Valais). C._ est le président du conseil d'administration de cette société. Il dispose d'un droit de signature individuelle. A._ (ci-après le demandeur, le recourant) est un promoteur immobilier, administrateur unique, avec droit de signature individuelle, de D._ SA, société sise à Y._ ayant notamment pour but l'exploitation d'un bureau d'architecture et d'entreprise générale. A.b. C._ et A._ ont entretenu des relations d'affaires durant plusieurs années. Après avoir mené à bien un premier projet immobilier commun portant sur la réalisation d'un centre de distribution, ils ont entrepris d'autres projets faisant l'objet du présent litige. A.b.a. Élaboré dès 2005, le projet " L._ " consistait en la construction d'un centre commercial comprenant environ 10'000 m2 de surface de vente ainsi que 550 places de parc sur le territoire de la commune de V._ (Vaud). Dans le cadre de ce projet, les parties ont conclu avec E._ un acte de " vente à terme conditionnelle " portant sur la vente des parcelles n° s 40 et 141 inscrites au registre foncier de V._ pour la somme de 13'500'000 fr. Cet acte prévoyait notamment, pour le cas où le permis de construire ne serait pas accordé, la caducité de la promesse de vente et le remboursement par le vendeur de 1'000'000 fr. sur l'acompte de 1'500'000 fr. versé par les acquéreurs. Par convention du 21 février 2007, la société F._ s'est engagée à acquérir auprès des parties les parcelles susmentionnées ainsi que le centre commercial devant y être érigé. La validité de cette convention était subordonnée à l'obtention du permis de construire. Par convention des 26 juin 2008 et 3 juillet 2008 conclue entre la société G._ et le demandeur, ce dernier s'est engagé, en qualité de " futur propriétaire " desdites parcelles, à remettre à bail à la première 9'000 m2 dans le centre commercial à ériger. La défenderesse n'était ni partie à cette dernière convention ni même mentionnée dans celle-ci. S'agissant des contributions respectives des parties, la défenderesse a fait valoir un versement de 1'500'000 fr. à titre d'acompte dans le cadre de l'achat des parcelles. Après avoir d'abord formulé un montant plus élevé, le demandeur a estimé le montant des honoraires pour les prestations d'architecte, ayant été confiées à son propre bureau d'architecture, à 2'505'802 fr. Il a également fait valoir 185'792 fr. 15 à titre de frais additionnels engagés dans le cadre du projet. Par décision du 9 novembre 2007, le Service du développement territorial du canton de Vaud a refusé l'autorisation spéciale requise pour la demande de permis de construire. Les recours interjetés par les parties auprès du Tribunal cantonal du canton de Vaud, puis du Tribunal fédéral, ont été rejetés. À la suite de ces décisions, le projet " L._ " a été abandonné. Après que les parties ont entamé une procédure judiciaire à l'encontre de E._, ce dernier a finalement versé la somme de 1'000'000 fr. sur le compte du notaire ayant instrumenté l'acte de " vente à terme conditionnelle " A.b.b. En dépit des difficultés rencontrées, les parties ont poursuivi leur collaboration. Le 2 novembre 2007, elles ont signé un " contrat de société simple " ayant pour objet les projets " M._ ", " N._ " et " O._ ". Selon ce contrat, le projet " M._ " concernait la construction d'un immeuble résidentiel de luxe de 1'500 m2 de surface bâtie. Le projet " N._ " et " O._ " avaient quant à eux pour objet la " création d'un village valaisan mettant en valeur les richesses naturelles et le potentiel touristique de la région, selon une démarche adaptée au[x] critères écologiques et économiques contemporains ". Il était prévu que la défenderesse verse un " montant forfaitaire " de 5'000'000 fr. (1'000'000 fr. pour le projet " M._ " et 2'000'000 fr. pour chacun des projets " N._ " et " O._ ") sur un compte ouvert au nom du demandeur au 15 novembre 2007. La défenderesse devait percevoir par la suite un montant de 10'000'000 fr. à titre de remboursement de ses investissements et participation aux bénéfices (2'000'000 fr. pour le projet " M._ ", le 15 décembre 2009, 4'000'000 fr. pour le projet " N._ ", le 15 décembre 2010, et 4'000'000 fr. pour le projet " O._ ", le 15 décembre 2011). Il était également prévu que la défenderesse pourrait être amenée à effectuer un nouveau versement de l'ordre de 20'000'000 fr. au 1 er septembre 2009, pour lequel elle percevrait " un intérêt moratoire et participation au bénéfice promotionnel fixé au taux de 12% ". Enfin, le contrat stipulait que dans l'hypothèse du non-octroi des autorisations de construire, la défenderesse se verrait rembourser sa mise de fonds propres, sans intérêts, tous les frais engendrés restant à la charge du demandeur. Conformément à ses engagements, la défenderesse a par la suite versé la somme de 5'000'000 fr.. Dès sa mise à l'enquête, le projet " M._ " a fait l'objet d'oppositions de la part de voisins en raison de la configuration des toitures. Au 15 décembre 2009, aucun permis de construire n'avait été obtenu. Dans un courrier électronique du 9 décembre 2009, le demandeur annonçait à la défenderesse qu'un montant de 1'000'000 fr. allait lui être remboursé conformément au contrat signé. Le permis de construire pour le projet a finalement été délivré le 15 novembre 2011, au terme notamment d'une procédure judiciaire. S'agissant des projets " O._ " et " N._ ", le demandeur a communiqué à la défenderesse que l'obtention des permis de construire prenait plus de temps que prévu. Par courrier du 9 décembre 2011, le demandeur a informé la défenderesse que le permis de construire pour le projet " O._ " n'avait toujours pas été délivré " à ce jour " et que le remboursement de 2'000'000 fr. à la défenderesse était prévu (1'000'000 fr. au 31 décembre 2011 et 1'000'000 fr. au 31 mars 2012). De manière similaire, le remboursement des investissements de la défenderesse en lien avec le projet " N._ ", soit 2'000'000 fr., était fixé au 30 juin 2013, le permis de construire nécessaire à la réalisation de ce projet ne pouvant être obtenu dans le délai convenu. Par décisions du 18 juillet et 5 décembre 2012, la Commune de W._ a finalement octroyé l'autorisation de construire. Un recours dirigé contre l'autorisation du 5 décembre 2012 pour la partie dite " hôtelière " du projet, a été rejeté par le Conseil d'Etat. Un recours interjeté contre cette décision a été rejeté par le Tribunal cantonal valaisan. A.c. Par la suite, des discussions ont eu lieu entre les parties au sujet de prétentions réciproques en lien avec les projets susmentionnés. En substance, la défenderesse faisait valoir son droit au remboursement de son investissement de 1'500'000 fr. dans le projet " L._ " ainsi qu'à une participation forfaitaire au bénéfice des projets " M._ " et O._ ". Elle demandait également le remboursement de son investissement de 2'000'000 fr. dans le projet " N._ ". Aucun accord n'a pu être trouvé entre les parties. B. B.a. Par courrier du 7 février 2013, la défenderesse a mis le demandeur en demeure de lui verser 5'000'000 fr. dans les 10 jours, soit 2'000'000 fr. à titre du remboursement du " prêt " octroyé dans le cadre du projet " N._ ", 1'000'000 fr. à titre de participation au bénéfice dans le cadre du projet " M._ " et 2'000'000 fr. dans le cadre du projet " O._ ". Le 8 juillet 2013, le demandeur s'est vu notifier un commandement de payer portant sur la somme de 2'000'000 fr., avec intérêts à 5% dès le 15 novembre 2007, à titre de remboursement du " prêt " relatif au projet " N._ ". Après que le demandeur a formé opposition, la défenderesse a requis mainlevée de celle-ci. Par décision du 9 janvier 2014, le tribunal de district a prononcé la mainlevée provisoire de l'opposition à concurrence de 2'000'000 fr., sans intérêts. B.b. Par acte du 18 février 2014, le demandeur a ouvert action en libération de dette à l'encontre de la défenderesse auprès du Tribunal cantonal du Valais. Il a conclu à ce qu'il soit constaté qu'il ne devait pas à la défenderesse la somme de 2'000'000 fr. faisant l'objet de la mainlevée provisoire en se réservant " d'agir pour le solde de la créance compensante ". Par réponse du 20 juin 2014, la défenderesse a conclu au rejet de l'action en libération de dette et, de manière reconventionnelle, au paiement par le demandeur de 3'000'000 fr. avec intérêts à 5% dès le 15 décembre 2009 sur 1'000'000 fr. et intérêts à 5% dès le 15 décembre 2011 sur le montant de 2'000'000 fr. Par jugement du 23 mai 2019, le Tribunal cantonal du Valais a rejeté l'action en libération de dette du demandeur et a levé définitivement l'opposition au commandement de payer à concurrence de 2'000'000 fr. plus intérêts moratoires au taux de 5% dès le 16 juin 2015. Il a partiellement admis la demande reconventionnelle de la défenderesse, condamnant le demandeur à lui verser 2'000'000 fr. avec intérêts à 5% dès le 16 juin 2015. C. Le demandeur forme un recours en matière civile au Tribunal fédéral en vue de l'annulation du jugement du 23 mai 2019. Il conclut, principalement, à ce que l'arrêt entrepris soit réformé en ce sens qu'il est constaté que la somme de 2'000'000 fr. faisant l'objet de la mainlevée provisoire n'est pas due et que les conclusions reconventionnelles de l'intimée sont rejetées et, subsidiairement, à ce que la cause soit renvoyée à l'autorité précédente pour nouvelle décision dans le sens des considérants. L'intimée conclut au rejet du recours. Les parties ont répliqué et dupliqué. L'autorité précédente s'est référée aux considérants de son jugement.