Faits : A. Le 15 juin 1992, A._ a ouvert une action en responsabilité contre le notaire B._, lui réclamant le paiement de 2'500'000 fr. en raison de divers manquements. A la suite du décès de B._, ce procès a été suspendu. La succession du notaire ayant été répudiée, elle a été liquidée par la voie de la faillite. A._ a produit sa créance qui a été admise définitivement à l'état de collocation à hauteur de 1'000'000 fr. le 5 décembre 1997. Le procès suspendu ayant perdu son objet, la cause a été rayée du rôle le 14 septembre 1998. B. B.a Conformément à l'ancienne loi sur le notariat du 10 décembre 1956 du canton de Vaud, B._ avait conclu un contrat d'assurance responsabilité civile avec C._ Assurances pour un montant de 2'000'000 fr. afin de couvrir le dommage résultant de ses activités ministérielles et professionnelles. Dans le même but, il avait également remis à l'Etat de Vaud un certificat de cautionnement solidaire de 300'000 fr. fourni par cette assurance le 21 novembre 1980. En 1994, A._, faisant valoir qu'il avait été lésé par les activités du notaire, a entrepris des démarches afin d'obtenir la réalisation du cautionnement solidaire. Le Service de justice de l'Etat de Vaud l'a invité à s'adresser à l'administration de la faillite. Le 11 juin 2001, l'administrateur spécial de la faillite a indiqué à A._ qu'il n'allait procéder à aucune démarche pour réaliser la caution et n'allait pas ouvrir action contre C._ Assurances. Se référant au contrat d'assurance en responsabilité civile, il a cédé à A._ les droits de l'assuré contre l'assurance. B.b Le 21 août 2001, se fondant sur l'assurance responsabilité civile et sur le cautionnement, A._ a ouvert action en paiement contre C._ Assurances et contre l'Etat de Vaud devant la Cour civile du Tribunal cantonal vaudois. -:- Par arrêt du 3 mars 2004, la Cour civile a rejeté la demande. Elle a notamment considéré que A._ était légitimé à agir contre C._ Assurances sur la base du contrat d'assurance responsabilité civile en raison de la cession du 11 juin 2001. Examinant les conditions de la responsabilité du notaire, elle a conclu que B._ n'avait déployé aucune activité ministérielle ou professionnelle pour A._, qui n'avait pas été son client. Partant, le notaire n'avait pu engager sa responsabilité. Au demeurant, il n'était pas établi qu'il ait commis un acte ou une omission illicite. Par ailleurs, les juges ont estimé que A._ n'était légitimé à agir ni contre C._ Assurances ni contre l'Etat de Vaud sur la base du cautionnement, mais devait saisir le Président du Tribunal d'arrondissement d'une plainte contre le refus de procéder à la réalisation de cette garantie. Cet arrêt est devenu définitif et exécutoire (cf. arrêts du Tribunal fédéral 1P.590/2004 du 28 janvier 2005 et 4C.352/2004 du 3 mai 2005). C. L'Etat de Vaud ayant refusé de procéder à la réalisation du cautionnement par décisions des 19 et 25 mai 2005, A._ a saisi le Président du Tribunal de l'arrondissement de Lausanne d'une plainte pour déni de justice. A titre principal, il concluait notamment à ce que l'Etat de Vaud soit invité à instruire sa demande tendant à la réalisation du cautionnement et à rendre une décision motivée avec indication des voies de droit; subsidiairement, il demandait qu'ordre soit donné à l'Etat de Vaud de procéder à la réalisation du cautionnement et de lui en remettre le produit. Par prononcé du 8 novembre 2006, le Président du tribunal d'arrondissement de Lausanne a rejeté la plainte. Par arrêt du 29 juin 2007, la Cour des poursuites et faillites du Tribunal cantonal vaudois a confirmé ce prononcé et rejeté le recours formé par A._. D. Contre cet arrêt, A._ interjette un recours en matière civile au Tribunal fédéral. Il sollicite en substance de constater que le refus de réaliser le cautionnement constitue un déni de justice, qu'il est créancier de la masse en faillite pour 1'000'000 fr. et qu'il est seul titulaire des droits à la réalisation du cautionnement. Il demande d'inviter l'Etat de Vaud à rendre une décision motivée avec indication des voies de droit. Subsidiairement, il demande d'ordonner à l'Etat de Vaud de procéder à la réalisation de la caution et de mettre en demeure C._ Assurances de lui verser le montant de 300'000 fr., plus subsidiairement encore de donner cet ordre à l'administrateur spécial, le tout sous menace des peines de l'art. 292 CP. Le recourant sollicite le bénéfice de l'assistance judiciaire. Une réponse n'a pas été requise.