Faits :
A.
A.a. B._ (1987) et A._ (1975) se sont mariés en 2009 à Z._ (Italie).
Ils ont deux enfants: C._ (2009) et D._ (2011).
A.b. Les parties connaissent des difficultés conjugales depuis 2009, lesquelles ont donné lieu à plusieurs épisodes de violence domestique.
Se sentant menacée, B._ a quitté le domicile conjugal avec les enfants en novembre 2018.
B.
B.a. L'épouse a déposé une requête de mesures protectrices de l'union conjugale et d'extrême urgence le 4 décembre 2018.
Par ordonnance de mesures superprovisionnelles du 5 décembre 2018, la présidente du Tribunal civil de l'arrondissement de l'Est vaudois (ci-après: la présidente) a notamment autorisé les époux à vivre séparés (I), dit que la jouissance du domicile conjugal était attribuée à l'épouse (II), ordonné à l'époux de quitter celui-ci dans les 72 heures (III) et dit qu'il contribuerait à l'entretien de chacun des enfants à hauteur de 1'500 fr. par mois (V), le droit de déterminer le lieu de résidence des enfants étant attribué à leur mère qui en exercerait la garde de fait (VI); interdiction était également faite à A._ de s'approcher à moins de 100 mètres de la requérante et de ses enfants, sous la menace de la peine prévue par l'<ref-law> (VII), son droit de visite devant être exercé par l'intermédiaire du Point Rencontre, deux fois par mois pour une durée maximale de deux heures (VIII).
Lors d'une audience tenue le 18 décembre 2018, les parties ont passé une convention ratifiée pour valoir prononcé partiel de mesures protectrices de l'union conjugale. Outre leur séparation et l'attribution du logement familial à l'épouse, les parties se sont entendues sur le fait que, d'ici au prononcé de mesures protectrices, le droit de visite de A._ était limité à un entretien téléphonique avec ses enfants trois fois par semaine, une visite étant de surcroît organisée dans l'après-midi du 24 décembre 2018. Les parties ont également convenu d'entreprendre une thérapie familiale auprès du cabinet Y._. Un mandat d'évaluation a par ailleurs été confié au Service de Protection de la Jeunesse (ci-après: SPJ) avec pour mission de faire toute proposition utile s'agissant de la garde et du droit aux relations personnelles.
B.b. Par prononcé de mesures protectrices de l'union conjugale du 28 janvier 2019, la présidente a réglé ainsi les modalités du droit de visite de A._ sur ses enfants: pendant trois mois, le droit devait s'exercer par l'intermédiaire du Point Rencontre, deux fois par mois, pour une durée maximale de deux heures, à l'intérieur des locaux exclusivement (ch. III); puis, sauf faits nouveaux, pendant trois mois également, toujours par l'intermédiaire du Point Rencontre et deux fois par mois, mais pour une durée maximale de trois heures avec la possibilité de sortir des locaux (ch. IV); enfin, à l'échéance de ces trois mois et sauf faits nouveaux ressortant notamment de la procédure pénale ou de la thérapie entreprise auprès de Y._, le droit de visite de A._ sur ses deux enfants serait libre, à fixer d'entente avec son épouse (ch. V). Dès le 1er décembre 2018, A._ était également astreint à verser une contribution d'entretien mensuelle de 1'780 fr. en faveur de son fils C._, respectivement de 1'830 fr. par mois pour sa fille D._, allocations familiales en sus (ch. X et XI), ces montants correspondant à ceux arrêtés pour leur entretien convenable (ch. VIII et IX).
B.c. La juge déléguée de la Cour d'appel civile du Tribunal cantonal du canton de Vaud a rejeté l'appel formé par A._ le 8 avril 2019. Elle a néanmoins précisé d'office le point V du prononcé de mesures protectrices de l'union conjugale en ce sens qu'à défaut d'entente avec B._, A._ aurait ses enfants auprès de lui, transports à sa charge, un week-end sur deux, du vendredi à 18 heures au dimanche à 18 heures, la moitié des vacances scolaires et alternativement à Pâques ou Pentecôte, Noël ou Nouvel-An. La décision de première instance a été confirmée pour le surplus.
C.
Agissant le 13 mai 2019 par la voie du recours en matière civile au Tribunal fédéral, A._ (ci-après: le recourant) conclut principalement à la réforme de l'arrêt cantonal en ce sens qu'un système de garde alternée sur les enfants est instauré, que le droit de visite par le biais du Point Rencontre est supprimé et qu'il n'est astreint au versement d'aucune contribution à l'entretien de ses enfants. Subsidiairement, le recourant réclame la réforme de l'arrêt cantonal en ce sens que le régime du droit de visite par l'intermédiaire du Point Rencontre est supprimé, que la garde des enfants est attribuée à son épouse, lui-même bénéficiant d'un libre et large droit de visite à fixer d'entente avec son épouse ou, à défaut, à raison d'un week-end sur deux du vendredi 18 heures à dimanche 18 heures, la moitié des vacances scolaires ainsi qu'alternativement à Noël, Nouvel-An, Pâques, la Pentecôte, l'Ascension et le Jeûne fédéral, et à ce qu'il soit astreint à contribuer à l'entretien de ses enfants, à compter du 1er janvier 2019 et sous déduction des montants déjà versés, pour un montant à fixer en cours d'instance mais au maximum à hauteur de 1'693 fr. 60 en faveur de D._ et de 1'643 fr. 60 en faveur de C._.

Considérant en droit :
1.
Déposé en temps utile (art. 46 al. 2 et 100 al. 1 LTF) et dans la forme légale (<ref-law>), le recours est dirigé contre une décision finale (<ref-law>; <ref-ruling> consid. 4) rendue sur recours par une autorité supérieure statuant en dernière instance cantonale (<ref-law>), dans une affaire matrimoniale (<ref-law>) de nature pécuniaire, dont la valeur litigieuse atteint le seuil de 30'000 fr. (art. 51 al. 1 let. a, 51 al. 4 et 74 al. 1 let. b LTF). Le recourant a qualité pour recourir (art. 76 al. 1 let. a et b LTF).
2.
2.1. La décision attaquée porte sur des mesures provisionnelles au sens de l'<ref-law> (<ref-ruling> consid. 1.1; <ref-ruling> consid. 5, 585 consid. 3.3), en sorte que la partie recourante ne peut dénoncer que la violation de droits constitutionnels. Le Tribunal fédéral n'examine de tels griefs que s'ils ont été invoqués et motivés par le recourant (" principe d'allégation "; <ref-law>), c'est-à-dire s'ils ont été expressément soulevés et exposés de manière claire et détaillée (<ref-ruling> consid. 2.1; <ref-ruling> consid. 2.4).
En particulier, une décision ne peut être qualifiée d'arbitraire (art. 9 Cst.) que si elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté, ou heurte de manière choquante le sentiment de la justice et de l'équité (<ref-ruling> consid. 7.3; <ref-ruling> consid. 4.1); il ne suffit pas qu'une autre solution paraisse concevable, voire préférable; pour que cette décision soit annulée, encore faut-il qu'elle se révèle arbitraire non seulement dans ses motifs, mais aussi dans son résultat (<ref-ruling> consid. 7.1, 170 consid. 7.3; <ref-ruling> consid. 4.3).
2.2. Toute conclusion nouvelle est irrecevable devant le Tribunal de céans (<ref-law>).
Dans ses écritures, le recourant conclut à titre principal à l'instauration d'un système de garde alternée sur les enfants. Cette conclusion est cependant inédite, dès lors qu'elle n'a jamais été formulée en instance cantonale. Il n'y a donc pas lieu d'entrer en matière.
3.
Le recourant se plaint d'arbitraire dans l'application et l'appréciation de l'<ref-law>, reprochant à l'autorité cantonale d'avoir confirmé le droit de visite surveillé prononcé en première instance en se référant à des faits qui auraient été établis arbitrairement.
Au regard du dispositif de la décision de première instance, confirmé en instance cantonale, et de l'appréciation des faits résultant de l'arrêt querellé, l'exercice du droit de visite par l'intermédiaire du Point Rencontre a dû prendre fin le 31 juillet 2019. Le recours apparaît ainsi désormais dépourvu de tout objet sur ce point précis. Une éventuelle prolongation de cette surveillance est certes réservée par le dispositif de la décision cantonale; dès lors qu'elle dépend de faits nouveaux qui pourraient notamment ressortir de la procédure pénale ou de la thérapie entreprise auprès de Y._, elle devra, cas échéant, faire l'objet d'une nouvelle décision; cette question excède ainsi le cadre du présent recours.
4.
Le recourant reproche également à l'autorité cantonale d'avoir arbitrairement déterminé son minimum vital en lui imputant un loyer hypothétique moins élevé que celui réellement acquitté.
4.1. Les critiques formulées par le recourant ne cernent aucunement la motivation cantonale. Celui-ci se limite en effet à affirmer que le loyer allégué serait conforme au prix du marché et que l'exercice de son droit de visite exigerait la location d'un appartement susceptible d'offrir un cadre de vie idéal à ses enfants. Il ne conteste cependant nullement le caractère manifestement disproportionné de la prise à bail d'un appartement de 4.5 pièces, retenu par la cour cantonale du fait du caractère occasionnel de la présence des enfants dans le logement.
4.2. Le recourant ne nie pas non plus efficacement que la prise en compte d'un tel montant dans ses charges aurait également pour conséquence qu'il ne serait plus en mesure de couvrir l'entretien convenable de ses enfants. Prétendre sur ce point que la motivation cantonale tomberait à faux (sic) par la vague affirmation " qu'il peut être attendu de l'intimée qu'elle reprenne à tout le moins un activité lucrative à 50%, vu sa formation, son âge et celui de ses enfants, ce compte tenu de la jurisprudence du Tribunal fédéral en la matière ", sans aucune autre précision, ne satisfait manifestement pas aux exigences de motivation qui sont ici applicables (consid. 2.1 supra).
5.
Dans un dernier grief, le recourant invoque la violation du droit au respect de la vie familiale, garanti par les art. 14 Cst. et 8 CEDH. Il n'y a cependant pas lieu d'entrer en matière sur cette critique en tant qu'elle est liée à celle de la surveillance du droit de visite, déclarée sans objet (consid. 3 supra).
6.
En définitive, le recours est irrecevable autant qu'il n'est pas sans objet. Le recourant supporte les frais judiciaires (<ref-law>), sans qu'il n'ait à verser d'indemnité de dépens à l'intimée, celle-ci n'ayant pas été invitée à répondre.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est irrecevable dans la mesure où il n'est pas sans objet.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Juge déléguée de la Cour d'appel civile du Tribunal cantonal du canton de Vaud.
Lausanne, le 11 septembre 2019
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
La Juge présidant : Escher
La Greffière : de Poret Bortolaso