Faits : A. A.a. En 2003, F.X._ (ci-après également: l'épouse) - mariée depuis le 19 décembre 2002 sous le régime de la séparation de biens avec H.X._ (ci-après également: l'époux), viticulteur - a acheté des parcelles viticoles sur la commune de V._. Pour l'exploitation de ce domaine viticole, elle a obtenu des prêts de deux établissements de droit public dotés de la personnalité juridique: le Fonds A._ lui a accordé, le 2 avril 2003, un prêt de 210'000 fr. et la Fondation B._ lui a octroyé un premier prêt, à la même date, de 250'000 fr., et un deuxième prêt, le 29 septembre 2006, de 30'000 fr. Le 3 avril 2003, l'épouse a également obtenu un cautionnement de 150'000 fr. de l'Office vaudois de cautionnement agricole (OVCA), soit une société coopérative de droit privé créée avec le soutien de l'Etat et déclarée d'intérêt public assurant le cautionnement de prêts bancaires destinés à la trésorerie des exploitations agricoles. A partir de mai 2003, le domaine viticole a été exploité par les époux sous la forme d'une société simple et ils ont été considérés comme un seul exploitant. A.b. Par acte du 23 octobre 2007, les époux ont déclaré céder l'intégralité des paiements directs (ainsi que d'autres contributions) versés par le Service cantonal de l'agriculture à l'OVCA, A._ et à B._ (ci-après également: les cessionnaires). Le divorce des époux a été prononcé le 10 décembre 2009 et il est devenu exécutoire le 11 janvier 2010. Il ne ressort pas des constatations cantonales que les ex-époux aurait liquidé la société simple et il n'y a donc pas lieu de discuter du sort de la part en main commune de l'ex-épouse dans cette société (cf. arrêt entrepris p. 16 s.). Il en résulte que, si l'ex-époux a effectivement continué seul à s'occuper de l'exploitation, il demeure que le risque économique était toujours assumé en commun par les ex-époux. La faillite de l'ex-épouse ayant été requise, un sursis concordataire lui a été accordé. Il a été prolongé à plusieurs reprises, puis révoqué le 13 décembre 2012 et l'ex-époux a été mandaté par l'Office des poursuites du district d'Aigle en qualité de vigneron tâcheron pour assurer l'exploitation des parcelles appartenant à l'ex-épouse. La faillite de l'ex-épouse a finalement été prononcée le 28 février 2013. Les paiements directs ont été suspendus par le Service cantonal de l'agriculture pour une partie de l'année 2010, pour 2011, 2012 et 2013. Pour ces années, le montant total des paiements directs s'élève à 52'791 fr. L'ex-époux estime être le bénéficiaire exclusif des paiements directs depuis 2010, alors que l'OVCA, A._ et B._ sont d'avis que la cession du 23 octobre 2007 déploie toujours ses effets et qu'ils en sont toujours bénéficiaires. B. Le 17 septembre 2014, l'ex-époux a ouvert action devant le Tribunal civil de l'arrondissement de Lausanne contre l'OVCA, A._ et B._ concluant à ce qu'il soit constaté que la cession de créances signée par l'ex-épouse et contre-signée par lui-même en faveur des trois cessionnaires est invalide et que, en tant qu'elle porte sur les paiements directs, elle ne peut sortir d'effets à partir du 1er janvier 2010. Par jugement du 28 avril 2015, le Tribunal civil a rejeté la demande. En substance, il a considéré que la cession de créances du 23 octobre 2007 était valable, qu'elle engageait les époux (alors constitués en société simple), que cette société a été dissoute au moment du divorce (le 10 décembre 2009), et dans tous les cas au plus tard le 28 février 2013 par le prononcé de la faillite de l'ex-épouse, mais que les rapports des associés avec les tiers (notamment les défendeurs) n'avaient pas été réglés, de sorte que la cession de créances continuait à déployer ses effets pour le demandeur (celui-ci ne pouvant pas la révoquer de manière unilatérale pour la seule raison que son associée avait fait faillite) qui exerçait une activité sur le domaine viticole. Par arrêt du 1er mars 2016, la Cour d'appel civile du Tribunal cantonal vaudois a partiellement admis l'appel formé par le demandeur. Elle a admis partiellement la demande et (en tant qu'elle porte sur les paiements directs) déclaré la cession de créances inefficace et ne pouvant plus sortir d'effets à partir du 28 février 2013. C. Le demandeur exerce un recours en matière civile au Tribunal fédéral contre l'arrêt cantonal du 1er mars 2016. Il conclut à sa réforme en ce sens que sa demande est entièrement admise, la cession (en tant qu'elle porte sur les paiements directs) étant déclarée inefficace et ne pouvant plus sortir d'effets à partir du 1er janvier 2010. Subsidiairement, il conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause à la cour cantonale pour nouvelle décision dans le sens des considérants. Il invoque l'arbitraire (art. 9 Cst.) dans la constatation des faits, une violation de l'art. 493 CO et une transgression de l'art. 106 CPC. Le recourant sollicite l'assistance judiciaire pour la procédure fédérale.