Faits :
A.
A.a. A.A._ (1963), de nationalité française, et B.A._ (1965), de nationalité américaine, tous deux domiciliés à X._ (VD), se sont mariés le 2 octobre 1999 à Garches (France). Une enfant est née de cette union, C._ (2003).
A.b. Le 9 octobre 2014, l'épouse a déposé une requête de mesures protectrices de l'union conjugale. Par ordonnance de mesures superprovisionnelles du 18 décembre 2014, la Présidente du Tribunal civil de l'arrondissement de La Côte (ci-après : la Présidente) a en particulier confié la garde sur l'enfant C._ à sa mère et fixé le droit de visite du père. Par prononcé de mesures protectrices de l'union conjugale du 28 janvier 2015, la Présidente a notamment et en substance confirmé l'ordonnance de mesures superprovisionnelles précitée, confié au Service de protection de la jeunesse (ci-après : SPJ) une curatelle d'assistance éducative au sens de l'<ref-law> en faveur de C._ et condamné l'époux à verser une contribution mensuelle à l'entretien des siens de 2'200 fr. (éventuelles allocations familiales dues en sus) dès le 1er janvier 2015; par prononcé rectificatif du 5 février 2015, la Présidente a précisé que la curatelle était confiée à D._, assistant social auprès du SPJ. Par acte du 9 février 2015, l'époux a fait appel de ce prononcé. Par arrêt du 13 avril 2015, le Juge délégué de la Cour d'appel civile du Tribunal cantonal du canton de Vaud (ci-après : le Juge délégué) a notamment annulé l'ordonnance du 28 janvier 2015 pour violation du droit d'être entendu et renvoyé la cause à l'autorité inférieure pour nouvelle décision.
Dans l'attente du prononcé de mesures protectrices de l'union conjugale à intervenir, la Présidente a, par ordonnance de mesures superprovisionnelles du 24 avril 2015, confié à D._, assistant social auprès du SPJ, une curatelle d'assistance éducative au sens de l'<ref-law> en faveur de C._.
B.
B.a. Au terme de l'instruction complémentaire de la cause, la Présidente a, par ordonnance de mesures protectrices de l'union conjugale du 6 août 2015, notamment et en substance confirmé l'attribution de la garde sur l'enfant C._ à sa mère, la suspension du droit de visite du père antérieurement décidée par mesures superprovisionnelles, et l'ordonnance de mesures superprovisionnelles par laquelle une curatelle d'assistance éducative a été confiée à D._, assistant social auprès du SPJ, et fixé à 1'750 fr. (éventuelles allocations familiales dues en sus) la contribution mensuelle due par l'époux pour l'entretien des siens dès le 1er janvier 2015.
B.b. Statuant le 9 novembre 2015, le Juge délégué a rejeté, dans la mesure de sa recevabilité, l'appel formé par l'époux contre cette décision, et confirmé le prononcé du 6 août 2015. Par arrêt du 2 mai 2016, le Tribunal fédéral a admis le recours en matière civile interjeté par l'époux, annulé la décision du 9 novembre 2015 et renvoyé la cause à l'autorité cantonale pour nouvelle décision (cause 5A_95/2016). En substance, il a retenu que le droit d'être entendu de l'époux avait été violé, dans la mesure où le contenu d'un rapport d'expertise (rapport du 10 août 2015) avait été pris en considération par le Juge délégué, alors que l'instruction de la cause ne permettait pas de constater que l'époux aurait eu la possibilité de se prononcer sur ledit rapport.
Statuant à nouveau le 24 août 2016, le Juge délégué a rejeté l'appel " dans la mesure où il a encore un objet ".
C.
Par mémoire du 20 octobre 2016, A.A._ interjette un recours en matière civile et un recours constitutionnel subsidiaire au Tribunal fédéral. Il sollicite l'annulation de l'arrêt entrepris et le renvoi de la cause à l'autorité " inférieure " pour nouvelle décision. Par courrier du 28 octobre 2016, il requiert le bénéfice de l'assistance judiciaire pour la procédure fédérale.
Il n'a pas été requis d'observations.

Considérant en droit :
1.
1.1. Le présent recours a été déposé en temps utile (<ref-law>) et dans les formes légales (<ref-law>), contre une décision finale (<ref-law>; <ref-ruling> consid. 4 p. 395 s.) rendue sur recours par une autorité supérieure (art. 75 al. 1 et 2 LTF), dans une affaire matrimoniale (<ref-law>). Le litige porte notamment sur l'attribution de la garde et sur la fixation du droit de visite, de sorte qu'il est de nature non pécuniaire dans son ensemble (arrêt 5A_882/2015 du 27 novembre 2015 consid. 1.1). Le recourant a en outre pris part à la procédure devant l'autorité précédente (<ref-law>) et a un intérêt à l'annulation ou à la modification de la décision attaquée (<ref-law>). Le recours en matière civile est en principe recevable au regard des dispositions qui précèdent. Il s'ensuit que le recours constitutionnel subsidiaire est irrecevable (<ref-law>).
1.2. Le recours en matière civile des <ref-law> étant une voie de réforme (<ref-law>), le recourant ne doit pas se borner à demander l'annulation de la décision attaquée; il doit également prendre des conclusions sur le fond du litige (<ref-ruling> consid. 1.3 p. 383 s.). Il n'est fait exception à cette règle que lorsque le Tribunal fédéral, en cas d'admission du recours, ne serait de toute manière pas en situation de statuer lui-même sur le fond et ne pourrait que renvoyer la cause à l'autorité cantonale (<ref-ruling> consid. 1.3 p. 383; <ref-ruling> consid. 3.1 p. 489 s.). Tel est le cas en l'espèce, puisque le recourant soulève des griefs de nature formelle qui ne peuvent conduire qu'au renvoi de la cause pour nouvelle décision.
2.
2.1. Comme la décision entreprise porte sur des mesures provisionnelles au sens de l'<ref-law> (<ref-ruling> consid. 5.1 p. 396, 585 consid. 3.3 p. 587), la partie recourante ne peut dénoncer que la violation de droits constitutionnels. Le Tribunal fédéral n'examine de tels griefs que s'ils ont été invoqués et motivés par le recourant ( " principe d'allégation ", <ref-law>), c'est-à-dire s'ils ont été expressément soulevés et exposés de manière claire et détaillée (<ref-ruling> consid. 3.2 p. 88 et les arrêts cités).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Dans l'hypothèse d'un recours soumis à l'<ref-law>, le recourant qui entend invoquer que les faits ont été établis de manière manifestement inexacte ne peut obtenir la rectification ou le complètement des constatations de fait de l'arrêt cantonal que s'il démontre la violation de droits constitutionnels, conformément au principe d'allégation susmentionné (cf. supra consid. 2.1). Le Tribunal fédéral ne corrige les constatations de fait que si elles sont arbitraires (art. 9 Cst.) et ont une influence sur le résultat de la décision (<ref-ruling> consid. 1.2.2 p. 252). En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 2.3 et les références p. 266). Le recourant ne peut pas se borner à contredire les constatations litigieuses par ses propres allégations ou par l'exposé de sa propre appréciation des preuves; il doit indiquer de façon précise en quoi ces constatations sont contraires au droit ou entachées d'une erreur indiscutable, c'est-à-dire arbitraires au sens de l'art. 9 Cst. (<ref-ruling> consid. 1.2.2 p. 252). Une critique des faits qui ne satisfait pas à cette exigence est irrecevable (<ref-law>; <ref-ruling> consid. 1.4.3 p. 254 s.).
3.
3.1. Le recourant fait valoir la violation de son droit d'être entendu (art. 29 al. 2 Cst.), en tant que l'autorité d'appel n'aurait pris en compte, à titre de faits nouveaux, que le rapport d'expertise du 10 août 2015, à l'exclusion des autres faits nouveaux intervenus depuis août 2015. Il expose avoir requis, par courrier du 12 mai 2016, la tenue de débats (<ref-law>) vu le " nombre considérable de nouveaux faits à soumettre à la Cour d'appel (art. 317 al. 1, b. CPC) ". Il n'aurait appris le rejet de sa requête qu'à la lecture de l'arrêt cantonal. Par conséquent, il n'aurait pas eu l'opportunité de se déterminer par écrit sur les nouveaux faits pertinents intervenus depuis août 2015, en particulier l'enlèvement de C._ aux Etats-Unis fin juin 2016 et la nouvelle situation financière des parties, étant dans l'attente d'une décision sur la tenue d'une audience. Le recourant se plaint encore de n'avoir pu s'exprimer sur le contenu du rapport d'expertise du 10 août 2015 que par écrit.
3.2. Il ressort de l'arrêt entrepris que, se référant à l'<ref-law>, l'autorité cantonale a tenu compte du rapport d'expertise du 10 août 2015 de l'Hôpital de Prangins, au sujet duquel les parties avaient désormais eu l'occasion de se déterminer. Le Juge délégué a relevé que, dès lors que le contenu de ce rapport était contesté par l'époux et que le résultat de cette expertise n'était de toute manière pas déterminant pour l'issue du litige, les questions soulevées à cet égard par l'époux pouvaient être laissées ouvertes. Elles avaient d'ailleurs été examinées entre-temps par le juge de première instance dans le cadre de nouvelles procédures de mesures protectrices de l'union conjugale - qui font l'objet d'un appel encore pendant -, tout comme d'ailleurs les faits nouveaux intervenus depuis le 9 novembre 2015, qu'il n'y avait dès lors pas lieu de prendre en compte dans la présente procédure en raison des risques de jugements contradictoires que cela engendrerait. L'autorité cantonale a indiqué que, dans cette mesure, il ne serait pas donné suite aux nombreuses mesures d'instruction complémentaires requises par l'époux dans son écriture du 15 juillet 2016, puisque celle-ci visaient à contester la teneur dudit rapport. Or, ces réquisitions - qui constituaient une demande d'expertise complémentaire ou de nouvelle expertise au sens des art. 187 al. 4 et 188 al. 2 CPC - dépassaient le cadre de l'appel, ce d'autant plus qu'une nouvelle ordonnance rendue par le premier juge - et attaquée par un appel séparé - traite ces questions. L'autorité cantonale a en revanche donné acte à l'époux que le rapport d'expertise du 10 août 2015 a été contesté tant sur le plan civil que pénal et qu'il fait l'objet, en l'état de l'instruction, de diverses demandes de compléments et/ou de modifications.
3.3. L'allégation de faits et moyens de preuve nouveaux n'est admise en appel qu'aux conditions de l'<ref-law> et ce même lorsque la maxime inquisitoire est applicable (<ref-ruling> consid. 2.2.2 p. 414 s.; <ref-ruling> consid. 2.2 p. 626 ss; arrêt 5A_63/2012 du 20 juin 2012 consid. 2), étant toutefois précisé qu'en matière matrimoniale, la jurisprudence n'a pas tranché la question de savoir si ces conditions s'appliquent telles quelles lorsque la maxime d'office et la maxime inquisitoire illimitée s'appliquent, notamment lorsqu'est en jeu une question relative à un enfant mineur (art. 296 al. 1 et 3 CPC; cf. arrêt 5A_456/2016 du 28 octobre 2016 consid. 4.1 et les références).
L'<ref-law> prévoit que les faits et moyens de preuve nouveaux sont admissibles en appel pour autant qu'ils soient invoqués ou produits sans retard (let. a) et qu'ils n'aient pas pu l'être en première instance, bien que la partie qui s'en prévaut ait fait preuve de la diligence requise (let. b). Ces conditions sont cumulatives (arrêt 5A_456/2016 du 28 octobre 2016 consid. 4.1.1). S'agissant des vrais nova (echte Noven), soit les faits qui se sont produits après le jugement de première instance - ou plus précisément après les débats principaux de première instance (<ref-law>) -, la condition de nouveauté posée par la lettre b est sans autre réalisée et seule celle d'allégation immédiate doit être examinée (arrêt 5A_456/2016 du 28 octobre 2016 consid. 4.1.1 et les références). En ce qui concerne les pseudo nova (unechte Noven), soit ceux qui existaient déjà en première instance, il appartient au plaideur qui entend les invoquer devant l'instance d'appel de démontrer qu'il a fait preuve de la diligence requise, ce qui implique notamment d'exposer précisément les raisons pour lesquelles le moyen de preuve n'a pas pu être produit en première instance (arrêts 5A_266/2015 du 24 juin 2015 consid. 3.2.2; 5A_695/2012 du 20 mars 2013 consid. 4.2.1).
3.4. En l'espèce, en tant que le recourant se plaint de ne pas avoir pu exposer en appel les faits nouveaux qu'il avait annoncés dans son courrier du 12 mai 2016, il méconnaît qu'il lui appartenait à tout le moins d'alléguer lesdits faits (cf. supra consid. 3.3), indépendamment du point de savoir si une audience allait être tenue. Il était libre de faire valoir par écrit les faits qu'il estimait pertinents et de se déterminer sur ceux-ci, et ne saurait se plaindre du refus de la cour cantonale de tenir compte de faits qu'il n'a pas mentionnés. Pour le surplus, il ne démontre pas que la cour cantonale aurait arbitrairement omis de tenir compte de faits nouveaux qu'il aurait effectivement allégués en appel.
Enfin, en tant que le recourant se plaint de n'avoir pu s'exprimer que par écrit sur un rapport d'expertise, il perd de vue que l'art. 29 al. 2Cst. ne comprend pas le droit d'être entendu oralement (<ref-ruling> consid. 5.3 p. 148; <ref-ruling> consid. 2.1 p. 428 ss et la jurisprudence citée).
4.
Le recourant se plaint, à plusieurs égards, du refus de l'autorité cantonale d'ordonner l'audition de divers témoins, et du fait qu'elle n'aurait pas tenu compte de certaines pièces du dossier.
4.1. Le droit d'être entendu, tel qu'il est garanti par l'art. 29 al. 2 Cst., comprend notamment le droit pour l'intéressé de produire des preuves pertinentes, d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes, de participer à l'administration des preuves essentielles ou à tout le moins de s'exprimer sur son résultat, lorsque cela est de nature à influer sur la décision à rendre. L'autorité peut cependant renoncer à procéder à des mesures d'instruction lorsque les preuves administrées lui ont permis de forger sa conviction et que, procédant d'une manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, elle a la certitude que ces dernières ne pourraient l'amener à modifier son opinion (<ref-ruling> consid. 6.3.1 p. 299 et les références). Il n'en va pas différemment lorsque, comme ici (art. 272 et 296 al. 1 CPC), le procès est soumis à la maxime inquisitoire (<ref-ruling> consid. 2.2.3 p.735 et les arrêts cités).
Les mesures protectrices de l'union conjugale sont ordonnées à la suite d'une procédure sommaire avec administration restreinte des moyens de preuve et limitation du degré de la preuve à la simple vraisemblance. Il n'y a pas de violation du droit à la preuve (art. 29 al. 2 Cst.) lorsque le juge parvient à se former une conviction de la vraisemblance des faits en se fondant sur les preuves administrées (arrêts 5A_882/2015 du 25 novembre 2015 consid. 6.1; 5A_265/2015 du 22 septembre 2015 consid. 2.2.2; 5A_661/2011 du 10 février 2012 consid. 2.3).
En matière d'appréciation des preuves et d'établissement des faits, il y a en revanche arbitraire lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 2.3 p. 266; <ref-ruling> consid. 4.1.2 p. 62; <ref-ruling> consid. 4.2 p. 560; <ref-ruling> consid. 4.3 p. 62); encore faut-il que la correction du vice soit susceptible d'influer sur le sort de la cause.
4.2.
4.2.1. Se plaignant d'une violation de son droit d'être entendu et du droit à la preuve, le recourant expose que toutes les mesures d'instruction qu'il avait requises ont été rejetées, à savoir notamment l'audition de M. D._ du SPJ (qui aurait " délibérément falsifié les déclarations de l'enfant C._, un nouveau fait que l'autorité a délibérément ignoré [cf. audition de Me Prior] "); la production des notes et d'un rapport du SPJ (alors que le SPJ n'aurait produit aucun constat de l'"importante rencontre avec l'enfant C._ du 21 janvier 2015 "); l'audition du Dr E._ (alors que l'arrêt reposerait de manière prépondérante sur son rapport et que l'objectivité dudit rapport devrait être remise en question); l'audition de Mme F._ du Point Rencontre et la production d'un rapport des visites (" alors que l'audition de Me Prior du 26 avril 2016 démontre que M. D._ a intentionnellement falsifié les retours de l'enfant concernant ces rencontres d'où la nécessité d'établir avec certitude ce qui s'est passé lors de ces rencontres "). Il estime avoir droit à être entendu " sur les méthodes utilisées par les intervenants pour produire [leurs] rapports par le moyen d'une audition des experts ". Enfin, l'arrêt entrepris ignorerait le rapport du Dr. G._ du 18 mai 2015, qui serait le plus objectif et indépendant dès lors que son auteur aurait pris la peine d'entendre les deux parents et ne serait pas influencé par les rapports contestés par le recourant; or, ce rapport ne favoriserait ni une prise en charge exclusive de l'enfant par la mère ni une restriction du droit de visite du père. Ainsi, il serait grossièrement erroné d'indiquer que " l'avis de tous les spécialistes confirme la justesse de la décision prise par le premier juge ", à savoir l'attribution de la garde exclusive de C._ à sa mère.
4.2.2. En substance, la cour cantonale a rappelé que les parties ne disposaient pas d'un droit à ce que l'autorité donne suite à toutes leurs offres de preuve, notamment celles qui sont redondantes ou sans utilité pour juger la cause. Elle a relevé que la requête tendant à la production d'un rapport complet du SPJ était sans fondement, dès lors que le SPJ avait régulièrement fait part de ses constats, lors d'audiences ou par courriers ou rapports. Par courrier du 11 mars 2015, le SPJ avait d'ailleurs précisément indiqué les souhaits que l'enfant avait émis lors du dernier entretien s'agissant du droit de visite. Le Juge délégué a ajouté que la retranscription intégrale des propos tenus par les acteurs de la procédure n'était tout simplement pas réalisable, et que l'époux n'apportait aucun indice permettant de remettre en cause l'impartialité et le professionnalisme des représentants du SPJ. S'agissant du refus du premier juge de donner suite aux réquisitions d'audition du Dr. E._ et de D._, force était de constater que ces professionnels avaient établi des rapports écrits détaillés qui ont été pris en compte par le premier juge, et que l'époux avait la possibilité de se déterminer à ce sujet. Leur audition en qualité de témoin ne s'avérait dès lors pas nécessaire à ce stade de la procédure. Quant à l'audition de Mme F._, du Point rencontre, et à la production d'un rapport au sujet des trois visites qui s'étaient déroulées, on ne discernait pas leur intérêt. Il fallait admettre que D._, par sa fonction de curateur, s'informait régulièrement du déroulement du droit de visite, tenait compte des éventuels faits pertinents dans ses rapports, et suivait régulièrement l'enfant et les parties, de sorte qu'il était la personne la plus à même d'informer la justice de l'évolution de la situation. En outre, l'époux n'exposait pas les motifs sur lesquels il se fondait pour mettre en cause D._ et aucun élément tangible ne permettait de mettre en doute les compétences de celui-ci et le contenu de ses rapports.
4.2.3. En tant qu'il critique le refus d'entendre diverses personnes comme témoins, le recourant ne convainc pas. Les juges précédents ont en effet procédé à une appréciation anticipée des moyens offerts, ce qui ne viole pas le droit à la preuve (cf. supra consid.4.1). Or, le recourant n'établit pas que cette appréciation serait insoutenable (cf. sur cette forme d'arbitraire: ATF <ref-ruling> consid. 4.2 p. 560 et les références). Il se borne à affirmer, de manière largement appellatoire, que s'il avait été procédé aux auditions requises, il aurait pu démontrer le manque d'objectivité des rapports figurant au dossier et établir le véritable déroulement de ses rencontres avec C._. En particulier, en tant qu'il se réfère à une audition de Me Prior - qui n'est nullement mentionnée dans l'arrêt attaqué, sans que le recourant ne démontre le caractère arbitraire de cette omission -, il ne précise pas quels propos seraient de nature à démontrer le caractère insoutenable de l'appréciation des preuves effectuée par le juge de deuxième instance, de sorte que la critique est irrecevable (cf. supra consid. 2.1 et 2.2).
Enfin, on soulignera que le Juge délégué cite largement le rapport du Dr. G._ en p. 32 et 33 de l'arrêt attaqué. Partant, il apparaît qu'il n'a pas omis d'en tenir compte et n'a donc pas violé l'art. 29 al. 2 Cst. Il ne l'a au surplus pas apprécié arbitrairement au sens de l'art. 9 Cst. Contrairement à ce que semble penser le recourant, il ne ressort pas de la décision entreprise que le Dr. G._ aurait préconisé une quelconque solution concernant la garde et le droit de visite sur C._, ses conclusions tendant essentiellement à ce que l'enfant puisse bénéficier d'un suivi pédopsychiatrique et à ce que ses parents puissent chacun présenter à la pédopsychiatre leur version de la situation. A cela s'ajoute que l'autorité cantonale, en indiquant que l'avis de tous les spécialistes confirmerait l'attribution de la garde exclusive à la mère, n'a pas prétendu que chaque spécialiste aurait préconisé cette solution, contrairement à ce que semble affirmer le recourant. Elle s'est appuyée sur les considérations desdits spécialistes pour établir la situation de santé de l'enfant et l'attitude des parents, et en a tiré la conséquence juridique qui s'imposait selon elle, à savoir l'attribution de la garde exclusive à la mère, pour le motif qu'il s'agirait de la solution qui, vu les circonstances, était la mieux à même d'assurer à C._ la stabilité nécessaire à son développement. Or, par sa critique, le recourant ne parvient pas à démontrer que cette décision serait insoutenable en l'espèce (cf. supra consid. 2.1).
4.3.
4.3.1. Le recourant soutient qu'en omettant d'entendre la curatrice de représentation de l'enfant nommée en vertu de l'<ref-law>, comme il l'avait pourtant requis, la cour cantonale a gravement violé l'<ref-law>. Par ailleurs, l'audition de la curatrice serait essentielle, dès lors que celle-ci a conclu, le 3 août 2016, à ce que le droit de déterminer le lieu de résidence et la garde de C._ soient retirés à l'épouse, un mandat de placement devant être confié au SPJ. Une telle violation du droit d'être entendu (art. 29 al. 2 Cst.) serait si grave qu'elle devrait conduire à l'annulation de l'arrêt entrepris.
4.3.2. Dans la mesure où le recourant semble se plaindre du refus de donner suite à l'une de ses réquisitions de preuve, on rappellera qu'il n'a pas un droit à ce que l'autorité cantonale donne suite à chacune de ses réquisitions (cf. supra consid. 4.1). En tant qu'il motive son grief sur le prétendu droit d'être entendu de la curatrice, il omet que seul celui concerné par la violation de son propre droit d'être entendu peut s'en prévaloir (arrêts 5A_306/2016 du 7 juillet 2016 consid. 3.1; 1C_320/2011 du 30 mai 2012 consid. 4.3.1).
5.
Vu ce qui précède, le recours est rejeté, dans la mesure de sa recevabilité. Le recourant sollicite l'assistance judiciaire, se contentant de produire à l'appui de sa requête la copie d'une décision du Tribunal cantonal lui accordant cette aide pour la procédure cantonale. Le Tribunal fédéral n'est pas lié par l'appréciation de la notion d'indigence faite au niveau cantonal (arrêt 5A_505/2013 du 20 août 2013 consid. 9.3 et les références). Dès lors que le recourant ne se réfère à aucune pièce permettant d'établir sa situation financière actuelle, et qu'il ressort de l'arrêt entrepris qu'il disposait d'une fortune de plus de 240'000 fr. au 30 septembre 2014, il échoue à apporter la preuve, qui lui incombe (<ref-ruling> consid. 4a p. 164 s.; arrêt 5A_842/2013 du 29 juillet 2014 consid. 7), de son indigence. Dans ces circonstances, la requête d'assistance judiciaire est rejetée (<ref-law>). Au demeurant, ses conclusions étaient d'emblée vouées à l'échec. Les frais judiciaires sont mis à sa charge (<ref-law>). La partie intimée n'ayant pas été invitée à se déterminer, il n'y a pas lieu de lui allouer une indemnité de dépens (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours constitutionnel subsidiaire est irrecevable.
2.
Le recours en matière civile est rejeté dans la mesure où il est recevable.
3.
La requête d'assistance judiciaire du recourant est rejetée.
4.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
5.
Le présent arrêt est communiqué aux parties et au Juge délégué de la Cour d'appel civile du Tribunal cantonal du canton de Vaud.
Lausanne, le 23 janvier 2017
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : von Werdt
La Greffière : Dolivo