Faits :
A.
Par jugement du 1 er mars 2006, la Cour fédérale de l'arrondissement de Sovetskiy en Russie a admis l'action en reconnaissance de paternité et en aliment déposée par B._ contre A._, en ce sens qu'elle a reconnu la paternité du prénommé sur l'enfant C._, né en 2001, et a fixé la contribution d'entretien à un sixième des revenus du père dès le 3 novembre 2003 et jusqu'à la majorité. Le 9 novembre 2012, l'autorité de première instance russe a attesté que le jugement précité était entré en vigueur depuis le 6 juin 2006 et devait être exécuté.
Le 31 janvier 2014, la Présidente du Tribunal civil de l'arrondissement de Lausanne a admis la requête de B._ tendant à la reconnaissance du jugement du 1 er mars 2006 susmentionné ainsi qu'au prononcé de son caractère exécutoire en Suisse. Le 6 août 2014, sur recours de A._, la Chambre des recours civile du Tribunal cantonal du canton de Vaud a confirmé ce prononcé. Par arrêt du 27 avril 2015, le Tribunal fédéral a rejeté le recours déposé par le prénommé contre cette dernière décision (arrêt 5A_797/2014).
B.
Le 5 mars 2019, B._ a déposé plainte pénale contre A._ pour violation d'une obligation d'entretien. Elle lui reproche en substance de ne pas procéder au versement des pensions alimentaires dues en sa faveur pour leur fils C._.
Le 10 avril 2019, la Procureure de l'arrondissement de Lausanne a ordonné l'ouverture d'une instruction pénale contre A._ pour n'avoir versé que partiellement la pension due en faveur de son fils entre le 3 novembre 2003 et le 5 mars 2019.
Le 26 septembre 2019, A._ a été entendu par la Procureure en qualité de prévenu. Lors de cette audition, il a tout d'abord indiqué qu'il ne communiquerait aucune information en relation avec sa situation financière. Ensuite, par l'intermédiaire de son défenseur, il a demandé la récusation de la Procureure en charge, en raison "d'une indication de sa part qu'un Tribunal statuerait sur la question de la façon de calculer un élément lié au jugement du 1 er mars 2006".
Le lendemain, la Procureure a transmis à la Chambre des recours pénale du Tribunal cantonal vaudois la demande de récusation susmentionnée. Elle a conclu à son rejet en exposant en substance qu'en indiquant "qu'un Tribunal statuerait sur la question de la façon de calculer un élément lié au jugement du 1 er mars 2006" lorsque le prévenu avait refusé de répondre à la question relative à ce calcul, signifiait que, si cette question n'était pas résolue dans le cadre de l'instruction, il appartiendrait nécessairement à un tribunal de trancher. La Procureure a en outre fait référence à la Directive n o 1.5 du Procureur général sur " la fixation des peines et harmonisation des sanctions ".
Par décision du 2 octobre 2019, la Chambre des recours pénale a rejeté la demande de récusation à l'encontre de la Procureure.
C.
A._ forme un recours en matière pénale au Tribunal fédéral contre cette décision, concluant, préalablement, à ce qu'il soit dit et constaté que les pièces du dossier contenues en annexe de la lettre de l'Administration cantonale des impôts du 4 juin 2019, soit ses certificats de salaire 2008 à 2010 et la copie de l'annexe 3 de sa déclaration fiscale pour les années 2011 à 2018, sont couvertes par le secret fiscal et, d'autre part, dit et prononcé qu'il est interdit à toute personne d'utiliser et/ou de communiquer ces pièces à des tiers à quelque titre que ce soit. Principalement, il demande l'annulation de la décision entreprise, l'admission de la demande de récusation à l'encontre de la Procureure en charge du dossier pénal, le déboutement des parties de toute autre conclusion, la mise des frais de la présente procédure à la charge de l'Etat, et l'allocation d'une indemnité en sa faveur pour les dépenses occasionnées, mise à la charge du Ministère public de l'arrondissement de Lausanne. Subsidiairement, il requiert notamment l'annulation de la décision attaquée, le renvoi de la cause à la Chambre des recours pour nouvelle décision et la modification de la composition de dite chambre.
Invités à se prononcer, le Tribunal cantonal ainsi que la Procureure intimée y ont renoncé tout en se référant aux considérants de la décision attaquée.
Par ordonnance du 13 décembre 2019, le Président de la I re Cour de droit public a statué qu'aucune mesure provisionnelle ne serait prise en lien avec les conclusions préalables au fond du recourant.

Considérant en droit :
1.
Conformément aux art. 78 et 92 al. 1 LTF, une décision incidente en matière pénale portant sur une demande de récusation peut faire immédiatement l'objet d'un recours en matière pénale. Le recourant, dont la demande de récusation a été rejetée, a qualité pour recourir en vertu de l'<ref-law>. Formé en temps utile (art. 48 al. 2 et 100 al. 1 LTF) contre une décision rendue en instance cantonale unique (<ref-law>), le recours est recevable, de même que les conclusions principales et subsidiaires prises par le recourant (<ref-law>).
S'agissant en revanche des conclusions préalables du recourant, elles sont irrecevables, dans la mesure où elles sont étrangères à l'objet du litige porté devant la Cour de céans, lequel est limité au bien-fondé du rejet de la demande de récusation de la Procureure en charge de la procédure pénale ouverte à son encontre. Le recourant n'est en effet pas en droit de modifier l'objet du litige devant le Tribunal fédéral, en demandant davantage ou autre chose que ce qu'il avait requis devant l'autorité précédente (cf. <ref-ruling> consid. 4.4.2 p. 156).
2.
Le mémoire de recours s'ouvre sur une présentation personnelle "des faits pertinents". Une telle démarche, dans la mesure où les faits exposés s'écartent des constatations de l'instance précédente ou les complètent, sans qu'il soit indiqué que ceux-ci seraient manifestement inexacts ou arbitraires, est irrecevable, le Tribunal fédéral n'étant pas une instance d'appel (cf. <ref-ruling> consid. 10.1 p. 445; <ref-ruling> consid. 5.1 p. 356).
3.
Le recourant reproche ensuite à la juridiction cantonale d'avoir violé les art. 56 let. f CPP, 6 par. 1 CEDH et 30 Cst.
3.1. Un magistrat est récusable, aux termes de l'art. 56 let. f CPP, lorsque d'autres motifs, notamment un rapport d'amitié étroit ou d'inimitié avec une partie ou son conseil juridique, sont de nature à le rendre suspect de prévention. Cette disposition a la portée d'une clause générale recouvrant tous les motifs de récusation non expressément prévus aux lettres précédentes. Elle correspond à la garantie d'un tribunal indépendant et impartial instituée par les art. 30 al. 1 Cst. et 6 par. 1 CEDH. Elle n'impose pas la récusation seulement lorsqu'une prévention effective du magistrat est établie, car une disposition interne de sa part ne peut guère être prouvée. Il suffit que les circonstances donnent l'apparence de la prévention et fassent redouter une activité partiale du magistrat. Seules les circonstances constatées objectivement doivent être prises en considération. Les impressions purement individuelles d'une des parties au procès ne sont pas décisives (<ref-ruling> consid. 4.3 p. 162; <ref-ruling> consid. 3.2 p. 74).
Selon l'<ref-law>, le ministère public est l'autorité investie de la direction de la procédure jusqu'à la mise en accusation. A ce titre, il doit veiller au bon déroulement et à la légalité de la procédure (<ref-law>). Durant l'instruction il doit établir, d'office et avec un soin égal, les faits à charge et à décharge (cf. <ref-law>); il doit statuer sur les réquisitions de preuves et peut rendre des décisions quant à la suite de la procédure (classement ou mise en accusation), voire rendre une ordonnance pénale pour laquelle il assume une fonction juridictionnelle. Dans ce cadre, le ministère public est tenu à une certaine impartialité même s'il peut être amené, provisoirement du moins, à adopter une attitude plus orientée à l'égard du prévenu ou à faire état de ses convictions à un moment donné de l'enquête (<ref-ruling> consid. 2.2.1 p. 145); tel est notamment le cas lorsqu'il décide de l'ouverture d'une instruction (qui suppose l'existence de soupçons suffisants au sens de l'<ref-law>) ou lorsqu'il ordonne des mesures de contrainte (arrêts 1B_315/2019 du 24 septembre 2019 consid. 3.1; 1B_150/2016 du 19 mai 2016 consid. 2.2). Tout en disposant, dans le cadre de ses investigations, d'une certaine liberté, le magistrat reste cependant tenu à un devoir de réserve et doit s'abstenir de tout procédé déloyal, instruire tant à charge qu'à décharge et ne point avantager une partie au détriment d'une autre (<ref-ruling> consid. 3.2.2 p. 180; <ref-ruling> consid. 2.2.1 p. 145). De manière générale, ses déclarations doivent être interprétées de manière objective, en tenant compte de leur contexte, de leurs modalités et du but apparemment recherché par leur auteur (arrêts 1B_315/2019 du 24 septembre 2019 consid. 3.1; 1B_150/2016 du 19 mai 2016 consid. 2.3).
3.2. En l'espèce, le recourant fonde son recours en grande partie sur un état de fait émaillé d'affirmations qui ne trouvent aucun appui dans les constatations de la décision cantonale, respectivement qui sont en contradiction avec ces constatations. Il en va ainsi lorsqu'il affirme péremptoirement, sans se référer précisément à une quelconque pièce du dossier, qu'il serait d'accord de se conformer et qu'il se conformerait au "jugement de paternité Sovetsky", respectivement qu'il aurait payé l'intégralité des pensions dues à teneur du droit russe applicable et selon des décisions rendues par les autorités russes compétentes. Il résulte pourtant de la décision attaquée que, selon les pièces au dossier, le recourant n'aurait que très partiellement payé les contributions d'entretien auxquelles il est astreint; il en résulte également que le recourant refuse de donner des informations sur ses revenus et sa situation financière actuelle, tentant de justifier son comportement en plaidant que l'enfant ne serait pas de lui, tout en s'opposant à un test ADN. Le recourant oublie que le Tribunal fédéral prend en considération les faits tels qu'ils ont été constatés par la dernière autorité cantonale, sauf s'il démontre l'arbitraire de ces constatations, ce qu'il ne fait pas (cf. supra consid. 2). Ces allégations, purement appellatoires, sont dès lors irrecevables. Il en va de même de l'assertion du recourant selon laquelle il ferait "l'objet de diverses procédures de la part de B._" qui auraient eu pour conséquence l'obtention de pièces relatives à sa situation financière par l'intermédiaire de procédés abusifs. Sur ce point encore, le recourant invoque des éléments qui n'ont pas été retenus par l'autorité précédente sans démontrer l'arbitraire de leur omission. Ces faits sont également irrecevables.
3.3. Le recourant conteste ensuite la compétence internationale de la Suisse dans cette affaire qui aurait un lien prépondérant avec la Russie. Il fait valoir que la Procureure aurait dû instruire de suite cette question, ce que la cour cantonale aurait totalement ignoré. Il fait également valoir qu'il était du devoir de la Procureure d'exiger l'audition de B._ et d'établir sa qualité de partie au vu de la majorité prochaine de leur fils. Ces griefs ne figurent toutefois pas dans la demande de récusation du recourant, ce qui devrait conduire à leur irrecevabilité. Quoi qu'il en soit, il faut rappeler que, selon la jurisprudence, des erreurs de procédure ou d'appréciation commises par un magistrat ne suffisent pas à fonder objectivement un soupçon de prévention, à moins qu'elles soient particulièrement lourdes ou répétées et qu'elles constituent des violations graves de ses devoirs qui dénotent une intention de nuire (cf. ATF <ref-ruling> consid. 3.2 p. 74 s.; <ref-ruling> consid. 3e p. 124; plus récemment arrêt 1C_165/2019 du 7 janvier 2020 consid. 2.1). Or, on ne voit pas en quoi ces griefs, s'ils étaient fondés, dévoileraient un soupçon de parti pris de la part de la Procureure intimée. En effet, même en admettant que cette dernière aurait dû instruire ces questions, respectivement constater l'incompétence des autorités suisses, ces prétendues irrégularités - pouvant au demeurant faire l'objet d'un recours - n'atteindraient pas un degré de gravité suffisant pour justifier une récusation.
3.4. Le recourant prétend également que la Procureure n'aurait pas respecté son devoir de réserve, respectivement aurait instruit exclusivement à charge et aurait privilégié la partie plaignante à son détriment, en violation des art. 6, 61 let. a et 62 al. 1 CPP. Il ressort cependant de la décision cantonale que la possibilité d'apporter des éléments à décharge a été offerte au recourant, mais que ce dernier n'a fait preuve d'aucune collaboration, puisqu'il a refusé de donner des informations sur ses revenus et sa situation financière actuelle. Dans ces circonstances, et compte tenu des éléments que la Procureure avait à sa disposition, on ne saurait reprocher à cette magistrate d'avoir envisagé un renvoi en jugement du recourant et de le lui avoir signifié de manière informelle lors de son audition. Les termes employés par cette dernière à cette occasion ne paraissent ainsi pas constituer, sans autre démonstration, un motif de prévention.
3.5. Enfin, le recourant fait grief à la Procureure d'avoir transmis le dossier pénal à la Chambre des recours pénale qui l'aurait à son tour envoyé au conseil de la partie plaignante, alors qu'il aurait demandé à la première nommée que les pièces relatives à sa situation financière - qui seraient couvertes par le secret fiscal - soient gardées secrètes. Il se prévaut d'une violation des art. 101 al. 1, 102 al. 1 et 2 et 108 al. 1 let. a et b CPP. Il apparaît que ce motif de récusation se fonde sur des faits postérieurs à la demande qui n'ont pas été évoqués en instance cantonale. On ne saurait dès lors reprocher à l'autorité précédente de ne pas s'être exprimée à ce sujet, étant précisé que le Tribunal fédéral ne saurait les examiner en première instance (cf. arrêt 1B_286/2015 du 2 mars 2016 consid. 3). En tout état de cause, même si ces faits avaient été antérieurs, on ne distingue pas en quoi la transmission des pièces du dossier à l'autorité de recours compétente pour trancher la demande de récusation devrait être assimilée à un parti pris de la part de la Procureure intimée en défaveur du recourant. Quant au secret fiscal invoqué par ce dernier, il n'apparaît pas suffisant - sans autre motivation - pour considérer qu'une restriction du droit d'être entendu, en particulier du droit de consulter le dossier par la plaignante se justifiait au sens de l'<ref-law>. Pour le reste, l'argumentation du recourant - en tant qu'elle vise une prétendue prévention dont la cour cantonale se serait faite l'auteure - n'a pas à être examinée ici dans la mesure où la demande de récusation dont il est ici question n'est pas dirigée contre dite autorité (cf. supra consid. 1).
3.6. En définitive, le recourant ne fournit aucun indice objectif permettant, comme l'exige l'<ref-law>, de remettre en cause l'impartialité de la Procureure intimée de manière à tout le moins plausible. Partant, la Chambre des recours pénale, pouvait, sans violer le droit fédéral, rejeter la demande de récusation dirigée à l'encontre de la prénommée.
4.
Il s'ensuit que le recours est rejeté, dans la mesure où il est recevable.
Le recourant, qui succombe, supporte les frais judiciaires (art. 65 et 66 al. 1 LTF). Il n'est pas alloué de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant
3.
Le présent arrêt est communiqué à la mandataire du recourant, à l'intimée et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 17 février 2020
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Chaix
La Greffière : Nasel