Faits :
A.
A.a. Le 6 octobre 2007, X._ (ci-après: le demandeur), né le 28 mars 1930, et sa compagne U._ ont été invités à prendre le repas de midi dans la propriété de Z._ (ci-après: le défendeur), en présence de celui-ci et de sa compagne, A.Z._ (ci-après: la défenderesse). Celle-ci est devenue par la suite l'épouse de Z._.
A.b. La propriété comprend une villa et une dépendance. Celle-ci consiste en un petit pavillon éclairé par la lumière du jour, où sont entreposés des meubles, des antiquités et des outils. La clef de la dépendance se trouve en permanence " pendue à côté de la porte " de celle-ci.
A l'intérieur de la dépendance se trouve une trappe aménagée au niveau du sol, proche d'une porte-fenêtre, donnant accès à un vide sanitaire. Cette trappe était ouverte depuis quelques jours au moment des faits litigieux, afin d'éviter que l'humidité provenant du sous-sol ne déforme les éléments majoritairement en bois que renfermait la dépendance.
A.c. Lors du repas du 6 octobre 2007, Z._ a parlé de la dépendance, mais sans proposer de la faire visiter, ni informer ses invités qu'il avait ouvert la trappe et l'avait laissée ouverte quelques jours auparavant.
Au terme du repas de midi, Z._ est allé faire une sieste, tandis que A.Z._ et les invités ont fait un tour dans le jardin de la propriété. Tous trois ont ensuite visité ensemble la dépendance, dont il est admis que le sol était, ce jour-là, encombré d'objets.
Lors de cette visite, X._ a chuté dans la trappe laissée ouverte par Z._. Il admet n'avoir pas vu cette trappe.
A.d. X._, qui était âgé de 77 ans et demi au moment de l'accident, a passé les trois semaines qui ont suivi l'accident en milieu hospitalier, à des fins de réadaptation à la marche notamment. De retour à domicile, il a bénéficié jusqu'en décembre 2007 d'un encadrement quotidien par un centre médico-social. Il a ensuite suivi des séances de physiothérapie et effectué divers examens médicaux. Il est admis que l'accident du 6 octobre 2007 a eu un impact important sur son état physique et mental.
B.
B.a. Le 24 septembre 2010, X._ a ouvert action contre Z._ et A.Z._ devant la Cour civile du Tribunal cantonal vaudois, concluant à la réparation des dommages passés et futurs causés par l'accident pour un montant total de 760'890 fr. 75, intérêts en sus.
Z._ est décédé le 16 juin 2014, de sorte que ses héritiers légaux - A.Z._, B.Z._, C.Z._ et D.Z._ - ont pris sa place au procès.
Par jugement du 27 juin 2016, la Cour civile du Tribunal cantonal vaudois a partiellement admis la demande et condamné les défendeurs, solidairement entre eux, au paiement de 401'314 fr. 65, intérêts, frais judiciaires et dépens en sus. Sous l'angle de l'<ref-law>, elle a retenu que la trappe est une source de danger lorsqu'elle est ouverte et qu'elle entraîne pour le propriétaire un devoir de sécurisation. Faute d'une quelconque protection pour les usagers, l'ouvrage est objectivement défectueux et Z._ a, en sa qualité de propriétaire, violé son devoir de diligence. Sous l'angle de l'<ref-law>, la trappe ouverte emporte création d'un état de fait dangereux constitutive d'un manquement blâmable à la diligence. Une faute ne peut toutefois être reprochée qu'à Z._, à l'exclusion de A.Z._.
B.b. Statuant le 15 décembre 2017, la Cour d'appel civile a admis l'appel des défendeurs, rejeté l'appel joint du demandeur et, réformant le jugement de première instance, a rejeté la demande.
En résumé, examinant l'applicabilité de l'<ref-law> au cas d'espèce, la cour cantonale a estimé que la visite de la dépendance présentait un caractère insolite et imprévisible et qu'aucun défaut d'entretien, en raison de l'absence de mesures de sécurité, ne pouvait être retenu, compte tenu du fait que l'usage de ce local-dépôt était destiné au propriétaire seul. Examinant l'applicabilité de l'<ref-law>, elle a retenu qu'aucune faute ne pouvait être imputée à Z._ pour n'avoir pas pris les mesures de sécurité que l'on pouvait raisonnablement attendre de lui, dans la mesure où la dépendance n'était pas destinée à recevoir des tiers hors de sa présence. Aucun acte illicite ni aucune faute ne pouvaient être retenus contre A.Z._, puisqu'elle n'avait pas ouvert la trappe et n'avait aucune raison concrète de tenir l'hypothèse de l'ouverture de la trappe pour vraisemblable. A.Z._ n'avait d'ailleurs aucune position de garant du fait de sa qualité de compagne du propriétaire des lieux.
C.
Contre cet arrêt, le demandeur a interjeté un recours en matière civile au Tribunal fédéral. Il conclut en substance à la réforme de l'arrêt en ce sens que l'appel des défendeurs soit rejeté, que son appel joint soit admis, que les défendeurs soient condamnés, solidairement entre eux, à lui payer les montants de 25'000 fr. avec intérêts à 5% l'an dès le 6 octobre 2007, 6'593 fr. 65 avec intérêts à 5% l'an dès le 31 mars 2009, 9'763 fr. 05 avec intérêts à 5% l'an dès le 28 juin 2010, 230'943 fr. 90 avec intérêts à 5% l'an dès le 31 mars 2012 et 141'454 fr. 80 avec intérêts à 5% l'an dès le 1er juillet 2016. Il se plaint de faits établis de manière manifestement inexacte au sens de l'<ref-law> et en violation du droit de procédure au sens de l'<ref-law>, ainsi que de violation des art. 58 et 41 CO. Il requiert le bénéfice de l'assistance judiciaire et la désignation de son mandataire comme avocat d'office.
Par ordonnance du 5 mars 2018, l'autorité de céans a octroyé l'effet suspensif au recours, les intimés ne s'y étant pas opposés.
Par ordonnance du 26 juillet 2018, l'assistance judiciaire a été accordée au recourant et Me Gloria Capt lui a été désignée comme avocate d'office.
Les hoirs de feu Z._ ont conclu au rejet du recours.
A.Z._ a conclu au rejet du recours dans la mesure où il est recevable.
La cour cantonale se réfère aux considérants de son arrêt.

Considérant en droit :
1.
Interjeté en temps utile compte tenu des féries judiciaires (art. 100 al. 1 et 46 al. 1 let. c LTF) contre une décision finale (<ref-law>), prise sur appel par le tribunal supérieur du canton de Vaud (<ref-law>), dans une affaire relative à la responsabilité civile d'un propriétaire d'ouvrage selon l'<ref-law> et la responsabilité pour actes illicites selon l'<ref-law> (cf. <ref-law>), dont la valeur litigieuse est supérieure à 30'000 fr. (<ref-law>), le recours en matière civile est recevable.
2.
Sous réserve de la violation des droits constitutionnels (<ref-law>), le Tribunal fédéral applique d'office le droit (<ref-law>), à l'état de fait constaté dans l'arrêt cantonal ou, cas échéant, à l'état de fait qu'il aura rectifié (art. 97 al. 1, 105 al. 2 LTF). Il n'est pas limité par les arguments soulevés dans le recours ni par la motivation retenue par l'autorité précédente; il peut donc admettre un recours pour d'autres motifs que ceux qui ont été articulés ou, à l'inverse, rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (<ref-ruling> consid. 1.4 et l'arrêt cité).
3.
Aux termes de l'<ref-law>, le propriétaire d'un bâtiment ou de tout autre ouvrage répond du dommage causé par des vices de construction ou par le défaut d'entretien.
3.1. Cette disposition institue une responsabilité objective simple, laquelle ne repose pas, contrairement à d'autres normes de ce type, sur la violation objective du devoir de diligence du propriétaire, mais sur le seul état défectueux de l'ouvrage; le propriétaire répond indépendamment de la question de savoir si lui ou un de ses auxiliaires a commis une violation de son devoir de diligence, donc également pour cas fortuit ( Zustandshaftung; ATF 69 II 394 consid. 3 p. 398 s.; <ref-ruling> consid. 3b; cf. Rey/Wildhaber, Ausservertragliches Haftpflichtrecht, 5e éd. 2018, n. 1043 et 1049; Fellmann/Kottmann, Schweizerisches Haftpflichtrecht, 2012, T. I, n. 666-667, 896 et 944; Roland Brehm, Berner Kommentar, 4e éd. 2013, n. 92 ad <ref-law>; contra : Franz Werro, La responsabilité civile, 3e éd. 2017, n. 756; idem, Commentaire romand, 2e éd. 2012, n. 16 ad <ref-law>). L'<ref-law> présuppose la réalisation de cinq conditions: (1) un propriétaire d'ouvrage; (2) un ouvrage; (3) un défaut de l'ouvrage; (4) un dommage; et (5) un lien de causalité naturelle et adéquate entre le défaut de l'ouvrage et le dommage.
3.2. En ce qui concerne le défaut de l'ouvrage (3° condition), celui-ci consiste soit en un vice de construction, soit en un défaut d'entretien.
Selon la jurisprudence, il y a défaut lorsque l'ouvrage n'offre pas une sécurité suffisante pour l'usage auquel il est destiné (<ref-ruling> consid. 1.3 p. 741 s. et les références; <ref-ruling> consid. 2a/cc p. 116; <ref-ruling> consid. 3 b/aa p. 310 s.; <ref-ruling> consid. 5a/bb; <ref-ruling> consid. 2; <ref-ruling> consid. 1a et les arrêts cités). Pour en décider, il faut apprécier objectivement toutes les circonstances concrètes du cas d'espèce, eu égard tout particulièrement à la destination de l'ouvrage et aux mesures qui peuvent être raisonnablement exigées du propriétaire (4A_377/2016 du 18 octobre 2016 consid. 2.3.2 in fine).
La preuve de l'existence d'un vice de construction ou d'un défaut d'entretien incombe à celui qui invoque l'<ref-law> et ne résulte pas du seul fait que l'accident a été causé par l'ouvrage (<ref-law>; ATF <ref-ruling> consid. 3b/aa p. 311 et l'arrêt cité).
Pour déterminer s'il y a défaut de l'ouvrage, il faut procéder en trois étapes:
3.2.1. Premièrement, il faut connaître le but de l'ouvrage, c'est-à-dire l'usage auquel l'ouvrage est destiné. En effet, par principe, l'ouvrage n'a pas à être adapté à un usage contraire à sa destination; le propriétaire n'a pas à compter avec l'éventualité qu'une personne utilise l'ouvrage d'une façon contraire à sa destination (<ref-ruling> consid. 1.3; <ref-ruling> consid. 2a/cc; <ref-ruling> consid. 2).
Il faut en particulier distinguer, en fonction du cercle des utilisateurs, les ouvrages destinés à une utilisation par le public et les ouvrages destinés à l'utilisation privée.
3.2.2. Deuxièmement, pour savoir si un ouvrage présente une sécurité suffisante eu égard à l'usage auquel il est destiné, il faut déterminer, d'après un point de vue objectif ( objektiver Massstab), ce qui peut se passer, selon l'expérience de la vie, à l'endroit où se trouve l'ouvrage (ATF <ref-ruling> consid. 3b/aa; <ref-ruling> consid. 5a/bb; arrêt 4A_377/2016 consid. 2.3.2).
L'ouvrage est exempt de défaut s'il a été construit et équipé de manière à assurer la sécurité des usagers. Le propriétaire n'est toutefois pas tenu de parer à tous les dangers imaginables, mais seulement à ceux qui résultent de l'ouvrage utilisé normalement. T oute source de danger ne constitue pas un défaut (ATF <ref-ruling> consid. 3b/aa).
Lorsqu'un ouvrage est destiné à être utilisé par le public, les exigences de sécurité sont accrues (<ref-ruling> consid. 4a et les arrêts cités). Ainsi, dans un magasin, le propriétaire doit prendre les mesures nécessaires pour prévenir les accidents (si elles sont techniquement possibles et que l'on peut raisonnablement les exiger; cf. consid. 3.2.3 infra) : en effet, les usagers sont généralement distraits par les marchandises exposées et sont moins attentifs que d'ordinaire (<ref-ruling> consid. 4a). De même, dans un local sis à l'arrière d'un magasin (kiosque), l'installation d'une trappe pour accéder par un escalier à la cave a été jugée défectueuse lorsqu'elle ne laisse plus qu'un passage de 70 cm de large quand la trappe est ouverte et qu'il suffit à la vendeuse qui doit prendre des objets sur un des rayons d'un tout petit pas en arrière pour tomber dans le vide (<ref-ruling> consid. 3b).
En revanche, les mesures de sécurité sont moins élevées pour les bâtiments ou lieux où le public n'est pas censé pénétrer, comme une maison privée qui n'est accessible qu'à un nombre restreint de personnes. Ainsi un escalier qui conduit à la cave et qui n'est emprunté que par des personnes qui le connaissent bien n'a pas à faire l'objet de mesures de sécurité particulières (comme la fermeture à clé ou un écriteau sur la porte indiquant que le passage conduit au sous-sol). En revanche, si des étrangers risquent de s'y engager, les mesures de sécurité nécessaires doivent être prises afin d'écarter tout danger, sous réserve de l'attention et de la prudence personnelles que l'on est en droit d'attendre d'eux (<ref-ruling> consid. 2b).
En effet, il y a une limite à l'obligation de sécurisation qui incombe au propriétaire: celle-ci réside dans la responsabilité propre de l'usager (Selbstverantwortung; <ref-ruling> consid. 1.3 p. 742; <ref-ruling> consid. 2a/cc p. 116; <ref-ruling> consid. 3b/aa p. 311). Ainsi, on peut attendre d'une personne qui entre dans une maison qu'elle connaît mal qu'elle s'engage avec prudence, en particulier qu'elle ne s'avance pas dans un espace complètement obscur sans avoir allumé la lumière ou sans prendre les plus grandes précautions (<ref-ruling> consid. 2b). Le propriétaire n'a pas à prévenir n'importe quel risque dont les utilisateurs de l'ouvrage ou les personnes qui entrent en contact avec celui-ci peuvent se protéger avec un minimum d'attention (<ref-ruling> consid. 1.3 p. 742; <ref-ruling> consid. 2a/cc p. 116; <ref-ruling> consid. 3b/aa p. 311; <ref-ruling> consid. 1; arrêt 4A_377/2016 précité consid. 2.3.2; sur les limites exceptionnelles à ce principe en cas de comportement non conforme de certaines catégories d'usagers, parmi lesquelles les enfants, cf. <ref-ruling> consid. 1.5 p. 743 s.; 4A_377/2016 précité consid. 2.3.3).
3.2.3. Troisièmement, il faut encore prendre en considération une autre limite au devoir de sécurisation du propriétaire: elle découle du caractère raisonnablement exigible des mesures à prendre ( Zumutbarkeit). Il faut examiner si l'élimination d'éventuels défauts ou la prise de mesures de sécurité est techniquement possible et si les dépenses ainsi engendrées demeurent dans un rapport raisonnable avec l'intérêt de protection des usagers et le but de l'ouvrage (<ref-ruling> consid. 1.3 p. 742; <ref-ruling> consid. 3b/aa p. 311).
3.3. Le recourant reproche tout d'abord à la cour cantonale d'avoir retenu que la dépendance de la villa n'avait pas vocation à recevoir la visite de tiers, examinant les deux points soulevés par le demandeur.
3.3.1. Tout d'abord, la cour cantonale a retenu que les allégués 256-257 de la réplique du demandeur - selon lesquels lui et sa compagne avaient constaté qu'il existait une petite cuisinette dans la dépendance (allégué 256) et la compagne du propriétaire avait indiqué que la dépendance était également utilisée pour loger leurs visites, notamment les petits-enfants du propriétaire (allégué 257) - n'ont été confirmés que par la compagne du demandeur. Or, les déclarations de celle-ci ne pouvaient être retenues que si elles étaient corroborées par d'autres éléments de preuve, ce qui n'était pas le cas.
Il est vrai que la compagne du propriétaire a répondu dans sa duplique qu'elle admettait les allégués précités. Le propriétaire défendeur a toutefois déclaré ignorer tant la constatation faite par le demandeur et sa compagne sur l'existence d'une cuisinette dans la dépendance que les propos tenus par sa compagne sur la destination de cette dépendance. Ces deux allégués étant déterminants pour l'appréciation de l'action fondée sur l'<ref-law> et donc pour le propriétaire, on ne saurait considérer qu'ils n'étaient pas contestés et n'avaient dès lors pas à être prouvés (cf. <ref-law>, correspondant à une règle du CPC/VD) du seul fait que la compagne de celui-ci les a admis dans sa duplique, alors que seule sa responsabilité aquilienne était engagée. D'ailleurs, le recourant n'invoque aucune photographie, ni aucun plan dont ces faits résulteraient.
3.3.2. Ensuite, en se référant à la règle qui impose que l'offre de preuve concerne précisément un fait allégué, la cour cantonale a jugé que les pièces 151/1 et 151/5 ont été invoquées pour prouver les allégués 212 ss, lesquels concernent les soins que requérait l'état de santé du demandeur et non l'utilisation de la dépendance, de sorte qu'elles n'avaient pas à être prises en considération.
La pièce 151/1 est une déclaration d'assurance faite par le demandeur lui-même et la pièce 151/5 un croquis des lieux figurant dans le questionnaire rempli par la compagne du propriétaire pour cette même assurance. On ne voit pas en quoi " la disposition en L du pavillon ", invoquée par le recourant comme ressortant de ces documents, démontrerait que celle-ci avait " pour vocation de recevoir la visite de tiers et en particulier des enfants ". Il n'y a donc pas lieu d'examiner le grief de formalisme excessif soulevé par le recourant à l'encontre de la motivation de la cour cantonale.
3.4. Si l'on s'en tient aux faits constatés sans arbitraire par la cour cantonale, l'accident s'est produit dans une dépendance de la villa, laquelle consiste en un petit pavillon éclairé par la lumière du jour, comprenant au moins une porte-fenêtre et dont la clef se trouve en permanence " pendue à côté de la porte ". Cette dépendance abrite un atelier/dépôt que le propriétaire utilise pour entreposer des meubles, des antiquités et des outils. Des objets et outils encombraient le sol de celle-ci. La dépendance n'est pas un lieu de travail pour d'autres personnes, ni un local d'exposition ouvert au public; elle n'est pas destinée à recevoir la visite de tiers. Elle est destinée, c'est-à-dire réservée, à l'usage du seul propriétaire.
3.4.1. Au vu de ces faits, on doit admettre que la dépendance n'est pas un ouvrage destiné à être utilisé par le public, mais bien un ouvrage à usage privé, et en plus à usage exclusif du propriétaire comme atelier/dépôt. Il s'agit-là d'une appréciation objective de la destination de l'ouvrage.
Lorsque le recourant se fonde sur un état de fait modifié, à savoir que l'ouvrage était destiné à recevoir des visites et des enfants, pour affirmer que la dépendance n'est pas destinée à l'usage exclusif du propriétaire, sa critique est irrecevable. On ne comprend au demeurant pas son argument lorsqu'il écrit "s'il était avéré que la dépendance était à usage exclusif de feu Z._, celui-ci l'aurait indiqué pour mettre en garde ses visiteurs des risques encourus ".
C'est donc bien à l'aune de cet usage privatif (cf. consid. 3.2.1 supra) qu'il y a lieu de répondre à la deuxième question, celle de la sécurité suffisante.
3.4.2. Certes, la clé de la dépendance était suspendue près de la porte, de sorte que, comme le soutient le recourant, il n'était évidemment pas exclu en fait que des tiers puissent pénétrer dans ce local destiné à l'usage privé et exclusif du propriétaire. C'est d'ailleurs précisément ce qui s'est produit le jour de l'accident.
Mais le propriétaire peut-il être tenu pour responsable du fait que des tiers sont entrés à son insu dans ce lieu destiné à son usage privé et exclusif et que l'un d'eux est tombé dans la trappe ouverte? Cela était-il objectivement prévisible pour lui selon l'expérience générale de la vie? Dans un tel lieu, des mesures de sécurité particulières, comme le balisage d'une zone de cheminement autour de la trappe, une chaînette aux couleurs vives ou encore un panneau placé à l'entrée de la dépendance et mettant en garde contre le risque de chute doivent-elles être mises en place dès que la trappe est ouverte, comme l'ont retenu les premiers juges, à l'opinion desquels le recourant se rallie?
Il ressort des constatations de fait que le sujet de la dépendance a été abordé lors du repas, mais que le propriétaire n'a pas proposé de la faire visiter. Alors qu'il était allé faire une sieste " en sachant que [sa compagne] irait faire un tour du jardin " avec les invités, ceux-ci y ont pénétré à son insu. Il n'a pas été constaté que les invités auraient manifesté un intérêt particulier pour la dépendance, ce qui aurait pu éveiller chez le propriétaire l'idée qu'ils pourraient être tentés par une visite. C'est donc à raison que la cour cantonale a considéré que le propriétaire n'avait pas à sécuriser la trappe laissée ouverte pour aérer le local alors que lui seul utilisait la dépendance et qu'il n'était pas prévisible pour lui que les invités de ce jour y pénétreraient hors de sa présence (cf. consid. 3.2.2 supra). Partant, il n'y a pas de défaut d'entretien de l'ouvrage.
Dès lors que le recourant se limite à insister sur le danger de chute important que faisait naître la trappe laissée ouverte et qui devait être pris en compte par le propriétaire, il ne s'en prend pas au fait que, selon l'expérience de la vie, il n'était pas prévisible pour celui-ci que ses invités y pénétreraient. Toute son argumentation repose en réalité sur un état de fait modifié, selon lequel la dépendance servait à accueillir des tiers, notamment des enfants. Il s'ensuit que son grief doit être rejeté dans la mesure où il est recevable.
3.4.3. En l'absence de défaut, il n'y a donc pas lieu d'examiner la question de " la proportionnalité des mesures de précaution " préconisées par le recourant.
4.
Le recourant se plaint d'une violation de l'<ref-law> s'agissant de la responsabilité de Z._ et de A.Z._.
4.1. La responsabilité délictuelle instituée par l'<ref-law> suppose que soient réalisées cumulativement les quatre conditions suivantes: (1) un acte illicite, (2) une faute de l'auteur, (3) un dommage et (4) un rapport de causalité (naturelle et adéquate) entre l'acte illicite et le dommage (<ref-ruling> consid. 5.2 p. 544; <ref-ruling> consid. 4.1 p. 130 et les références).
Dans la conception objective de l'illicéité suivie par le Tribunal fédéral (ATF <ref-ruling> consid. 4.1 et les arrêts cités), on distingue l'illicéité de résultat ( Erfolgsunrecht), qui suppose l'atteinte à un droit absolu du lésé, de l'illicéité du comportement ( Verhaltensunrecht). Lorsqu'il est question de l'atteinte à un droit absolu du lésé par omission, celle-ci ne peut constituer un acte illicite que s'il existait une obligation juridique d'agir. Celui qui crée un état de fait dangereux pour autrui ( Gefahrensatz) doit prendre les mesures de précaution commandées par les circonstances afin d'éviter la survenance d'un accident (ATF <ref-ruling> consid. 2a/aa et les arrêts cités). Cette obligation d'agir résulte directement du devoir général de respecter le droit à la vie et à l'intégrité corporelle, en tant que droit absolu (ATF <ref-ruling> consid. 2a/aa). La création d'un état de fait dangereux peut intervenir d'une part pour déterminer s'il y a illicéité, d'autre part pour juger de la faute de celui qui a négligé de prendre les mesures de protection nécessaires (<ref-ruling> consid. 5b; Rey/Wildhaber, op. cit., n. 901 et 1025; Vito Roberto, Haftpflichtrecht, 2e éd. 2018, n. 04.82 ss; Fellmann/Kottmann, op. cit., n. 579 ss).
4.2. En ce qui concerne la responsabilité de Z._, la cour cantonale a considéré qu'il n'avait commis ni faute ni acte illicite en ne prenant pas de mesures telles que la pose d'un panneau de mise en garde ou d'une chaînette aux couleurs vives autour de la trappe lorsque celle-ci était ouverte, puisque la dépendance n'était pas destinée à accueillir des usagers hors de sa présence et qu'il était imprévisible pour lui que les invités du jour y pénètrent pendant qu'il faisait la sieste. Le fait que le local était fermé à clé manifestait suffisamment l'intention du propriétaire de maintenir le caractère privatif du lieu, même si la clé se trouvait suspendue à côté de la porte.
Dans la mesure où elle repose sur des faits modifiés (l'affectation de la dépendance à l'utilisation par des tiers et des enfants), la critique du recourant est sans pertinence.
Lorsque, subsidiairement, il critique la motivation sur la base des faits constatés, le recourant se limite tout d'abord à affirmer qu'une mesure de protection qui ne coûtait pas grand chose devait être mise en place et que l'art. 24 al. 4 RLATC, qui se réfère aux fenêtres, balcons ou terrasses, aurait été violé. Ce faisant, il ne s'en prend pas à la motivation de la cour cantonale, ni ne démontre l'arbitraire dans l'application du règlement cantonal.
Lorsqu'il reproche ensuite au défendeur de n'avoir pas mentionné l'existence ou l'ouverture de cette trappe ni à sa compagne, ni à lui-même ou à son amie lors du repas, il ne s'en prend pas à la motivation de la cour cantonale, qui a considéré que le propriétaire ne pouvait pas prévoir que ses invités, qui n'avaient pas manifesté d'intérêt pour le contenu de la dépendance, pénétreraient dans celle-ci à son insu pendant qu'il faisait la sieste.
Enfin, la comparaison avec un arrêt de droit pénal, fondé sur une situation de fait différente (retirer les planches d'une ouverture à foin dans une grange alors qu'un livreur de foin doit y pénétrer et manoeuvrer pour décharger sa livraison), qu'entend tirer le recourant est sans pertinence.
4.3. En ce qui concerne la responsabilité de A.Z._, la cour cantonale a retenu que celle-ci n'avait pas créé d'état de fait dangereux, puisque ce n'est pas elle qui a laissé la trappe ouverte. Il n'a pas été établi qu'elle savait ou aurait eu des raisons concrètes de penser que la trappe était ouverte au moment des faits litigieux. Elle n'avait donc pas à se poser de questions sur les mesures de sécurité à prendre, comme elle ne pouvait pas envisager le risque. Elle n'avait pas plus à attirer l'attention des visiteurs sur l'existence de la trappe et sur le risque de chute engendré par l'éventuelle ouverture de celle-ci. Sa seule qualité de compagne du propriétaire des lieux ne saurait en outre fonder une position de garant.
Le recourant soutient que l'intéressée habitait les lieux depuis plus de sept ans, connaissait l'existence de la trappe et avait proposé aux invités de faire un tour dans le jardin et dans la dépendance. A aucun moment elle n'avait averti les invités de l'existence de la trappe et de la possibilité que celle-ci soit ouverte, ni n'avait recommandé aux invités d'être spécialement prudents. Elle aurait dû les précéder dans la visite, à tout le moins les avertir de l'existence de la trappe, sur laquelle ils auraient pu trébucher si elle était fermée ou tomber si elle était ouverte. Elle avait une position de garant.
Par cette critique, le recourant ne parvient à convaincre ni de l'illicéité, ni de la faute de la compagne du propriétaire.
Partant, il n'y a pas lieu de retenir la responsabilité de A.Z._ à l'égard de X._ sur la base de l'<ref-law>.
5.
Il n'y a donc pas lieu d'examiner si, comme le soutiennent les hoirs intimés, les prétentions du demandeur seraient prescrites.
6.
Au vu de ce qui précède, le recours doit être rejeté dans la mesure où il est recevable.
Comme l'assistance judiciaire a été accordée au recourant, il se justifie de renoncer à percevoir des frais judiciaires (art. 64 al. 1 et 66 al. 1 2ème phrase LTF). Le recourant au bénéfice de l'assistance judiciaire qui succombe n'est pas dispensé de payer aux intimés des dépens (cf. <ref-ruling> consid. 2c p. 324 s.). La caisse du Tribunal fédéral versera au mandataire du recourant une indemnité à titre d'honoraires d'avocat d'office (art. 64 al. 2 2ème phrase LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 5'000 fr., sont mis à la charge du recourant, mais ils seront supportés provisoirement par la caisse du Tribunal fédéral.
3.
Le recourant versera aux hoirs intimés une indemnité de 6'000 fr. à titre de dépens.
4.
Le recourant versera à l'intimée n° 5 une indemnité de 6'000 fr. à titre de dépens.
5.
La caisse du Tribunal fédéral versera à Me Gloria Capt une indemnité de 5'000 fr. à titre d'honoraires d'avocat d'office.
6.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Cour d'appel civile.
Lausanne, le 25 février 2019
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente : Kiss
La Greffière : Schmidt