Faits :
A. Le 15 juin 1992, A._ a ouvert une action en responsabilité contre le notaire B._, lui réclamant le paiement de 2'500'000 fr. en raison de divers manquements. A la suite du décès de B._, ce procès a été suspendu.
La succession du notaire ayant été répudiée, elle a été liquidée par la voie de la faillite. A._ a produit sa créance qui a été admise définitivement à l'état de collocation à hauteur de 1'000'000 fr. le 5 décembre 1997. Le procès suspendu ayant perdu son objet, la cause a été rayée du rôle le 14 septembre 1998.
B. B.a Conformément à l'ancienne loi sur le notariat du 10 décembre 1956 du canton de Vaud, B._ avait conclu un contrat d'assurance responsabilité civile avec C._ Assurances pour un montant de 2'000'000 fr. afin de couvrir le dommage résultant de ses activités ministérielles et professionnelles. Dans le même but, il avait également remis à l'Etat de Vaud un certificat de cautionnement solidaire de 300'000 fr. fourni par cette assurance le 21 novembre 1980.
En 1994, A._, faisant valoir qu'il avait été lésé par les activités du notaire, a entrepris des démarches afin d'obtenir la réalisation du cautionnement solidaire. Le Service de justice de l'Etat de Vaud l'a invité à s'adresser à l'administration de la faillite.
Le 11 juin 2001, l'administrateur spécial de la faillite a indiqué à A._ qu'il n'allait procéder à aucune démarche pour réaliser la caution et n'allait pas ouvrir action contre C._ Assurances. Se référant au contrat d'assurance en responsabilité civile, il a cédé à A._ les droits de l'assuré contre l'assurance.
B.b Le 21 août 2001, se fondant sur l'assurance responsabilité civile et sur le cautionnement, A._ a ouvert action en paiement contre C._ Assurances et contre l'Etat de Vaud devant la Cour civile du Tribunal cantonal vaudois.
-:-
Par arrêt du 3 mars 2004, la Cour civile a rejeté la demande. Elle a notamment considéré que A._ était légitimé à agir contre C._ Assurances sur la base du contrat d'assurance responsabilité civile en raison de la cession du 11 juin 2001. Examinant les conditions de la responsabilité du notaire, elle a conclu que B._ n'avait déployé aucune activité ministérielle ou professionnelle pour A._, qui n'avait pas été son client. Partant, le notaire n'avait pu engager sa responsabilité. Au demeurant, il n'était pas établi qu'il ait commis un acte ou une omission illicite. Par ailleurs, les juges ont estimé que A._ n'était légitimé à agir ni contre C._ Assurances ni contre l'Etat de Vaud sur la base du cautionnement, mais devait saisir le Président du Tribunal d'arrondissement d'une plainte contre le refus de procéder à la réalisation de cette garantie. Cet arrêt est devenu définitif et exécutoire (cf. arrêts du Tribunal fédéral 1P.590/2004 du 28 janvier 2005 et 4C.352/2004 du 3 mai 2005).
C. L'Etat de Vaud ayant refusé de procéder à la réalisation du cautionnement par décisions des 19 et 25 mai 2005, A._ a saisi le Président du Tribunal de l'arrondissement de Lausanne d'une plainte pour déni de justice. A titre principal, il concluait notamment à ce que l'Etat de Vaud soit invité à instruire sa demande tendant à la réalisation du cautionnement et à rendre une décision motivée avec indication des voies de droit; subsidiairement, il demandait qu'ordre soit donné à l'Etat de Vaud de procéder à la réalisation du cautionnement et de lui en remettre le produit.
Par prononcé du 8 novembre 2006, le Président du tribunal d'arrondissement de Lausanne a rejeté la plainte.
Par arrêt du 29 juin 2007, la Cour des poursuites et faillites du Tribunal cantonal vaudois a confirmé ce prononcé et rejeté le recours formé par A._.
D. Contre cet arrêt, A._ interjette un recours en matière civile au Tribunal fédéral. Il sollicite en substance de constater que le refus de réaliser le cautionnement constitue un déni de justice, qu'il est créancier de la masse en faillite pour 1'000'000 fr. et qu'il est seul titulaire des droits à la réalisation du cautionnement. Il demande d'inviter l'Etat de Vaud à rendre une décision motivée avec indication des voies de droit. Subsidiairement, il demande d'ordonner à l'Etat de Vaud de procéder à la réalisation de la caution et de mettre en demeure C._ Assurances de lui verser le montant de 300'000 fr., plus subsidiairement encore de donner cet ordre à l'administrateur spécial, le tout sous menace des peines de l'<ref-law>.
Le recourant sollicite le bénéfice de l'assistance judiciaire.
Une réponse n'a pas été requise.

Le Tribunal fédéral considère en droit:
1. L'arrêt attaqué confirme le refus par l'Etat de Vaud de réaliser la garantie fournie par le notaire pour couvrir le dommage causé dans l'exercice de ses activités ministérielle et professionnelle. Fondée sur les art. 112 de la loi vaudoise sur le notariat du 29 juin 2004 (RS/VD 178.11: ci-après : LNo) et 44 du règlement d'application de la loi du 29 juin 2004 (RS/VD 178.11.1; ci-après : RLNo), cette décision a été prise en application d'une norme de droit public dans une matière connexe au droit civil au sens de l'<ref-law>. Déposé dans le délai de 30 jours (<ref-law>) contre une décision finale (<ref-law>) prise par l'autorité cantonale de dernière instance (<ref-law>), le présent recours en matière civile est en principe recevable.
2. Le recourant demande que les faits soient complétés sur divers points en application de l'<ref-law>.
2.1 Saisi d'un recours en matière civile, le Tribunal fédéral statue sur la base des constatations de l'autorité précédente (<ref-law>), à moins que des faits pertinents pour l'issue du litige n'aient été établis de façon manifestement inexacte, à savoir arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 1.4.1; Message du Conseil fédéral concernant la révision totale de l'organisation judiciaire fédérale, in : FF 2001 p. 4135) ou en violation du droit au sens de l'<ref-law> (<ref-law>) et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause (art. 97 al. 1 in fine LTF); le recourant doit rendre vraisemblable que la décision aurait été différente si les faits avaient été établis de manière conforme au droit (Message, p. 4136). De même, le Tribunal fédéral ne sanctionne une constatation des faits contraire à l'art. 9 Cst. que si ce moyen est invoqué et motivé par le recourant (<ref-law>); les exigences de motivation de l'acte de recours correspondent à celles de l'art. 90 al. 1 let. b OJ (<ref-ruling> consid. 2). Par ailleurs, aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (<ref-law>).
2.2 Le recourant demande que l'état de fait soit complété sur des points qu'il affirme être pertinents sans pour autant reprocher à l'instance précédente une constatation arbitraire des faits ou une violation du droit au sens de l'<ref-law>. A fortiori, il ne démontre pas avec quel grief chaque constatation serait en relation, en quoi elle serait pertinente et dans quelle mesure la correction du vice aurait une influence sur le sort de la cause. Faute de satisfaire au principe d'allégation, ces critiques sont irrecevables.
3. Le recours en matière civile au Tribunal fédéral peut être exercé pour violation du droit suisse tel qu'il est délimité à l'<ref-law>, soit le droit fédéral, y compris le droit constitutionnel (let. a), le droit international (let. b) et le droit intercantonal (let. e). En revanche, sous réserve des hypothèses visées à l'art. 95 let. c et d LTF, la violation du droit cantonal n'est pas un motif de recours. Toutefois, il est toujours possible de faire valoir que la mauvaise application du droit cantonal constitue une violation du droit fédéral, parce qu'elle est arbitraire au sens de l'art. 9 Cst. ou contraire à d'autres droits constitutionnels (<ref-ruling> consid. 2.3).
Selon la jurisprudence, une décision est arbitraire au sens de l'art. 9 Cst. lorsqu'elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté, ou heurte de manière choquante le sentiment de la justice et de l'équité (<ref-ruling> consid. 2.1; <ref-ruling> consid. 2). En ce qui concerne la façon dont le droit cantonal a été appliqué, il ne faut pas confondre arbitraire et violation de la loi; une violation doit être manifeste et reconnue d'emblée pour être considérée comme arbitraire. Le Tribunal fédéral n'a pas à examiner quelle est l'interprétation correcte que l'autorité cantonale aurait dû donner des dispositions applicables; il doit uniquement dire si l'interprétation qui a été faite est défendable (<ref-ruling> consid. 5.1; <ref-ruling> consid. 2.1). Il appartient au recourant d'établir la réalisation de ces conditions, par une argumentation précise répondant aux exigences de l'<ref-law> (principe d'allégation). Le Tribunal fédéral n'entre pas en matière sur les critiques de nature appellatoire (cf. <ref-ruling> consid. 1.3; <ref-ruling> consid. 1b).
4. Le recourant reproche à la cour cantonale d'avoir violé l'art. 112 LNo/VD et les art. 44 à 49 RLNo/VD.
4.1 En droit vaudois, le notaire ne peut être autorisé à pratiquer si, en sus d'une assurance responsabilité civile couvrant sa responsabilité ministérielle et professionnelle, il n'a pas déposé une garantie en faveur de l'Etat (art. 109 LNo/VD), qui peut être fournie sous forme de cautionnement (art. 111 al. 1 LNo/VD).
Aux termes de l'art. 112 al. 1 LNo/VD, en cas de sinistre, les droits du notaire sur les valeurs ou objets de la garantie passent à l'Etat. Celui-ci réalise, pour le compte des lésés et à leur requête, ses droits notamment à l'égard de la caution. Les droits du notaire passent à l'Etat si la responsabilité du notaire pour un dommage qu'il a causé illicitement dans l'exercice de ses activités ministérielles et professionnelles, que ce soit par dol ou négligence, est établie par un jugement entré en force ou par une reconnaissance du notaire (art. 44 al. 1 RLNo/VD en relation avec l'art. 107 al. 1 LNo/VD).
4.2 Appliquant ces dispositions, la cour cantonale a relevé que le procès en responsabilité pendant à l'ouverture de la faillite est devenu, après la suspension en vertu de l'<ref-law>, un procès en collocation. Elle a ajouté que, même s'il avait été continué contre la masse ou un cessionnaire de celle-ci, il n'aurait pas abouti à un jugement établissant ou écartant la responsabilité du notaire au sens de l'art. 44 RLNo/VD, mais uniquement à un jugement tranchant la question de la collocation qui aurait lié uniquement les créanciers. Par ailleurs, la cour cantonale a encore observé qu'un jugement définitif et exécutoire avait écarté la responsabilité civile du notaire : en effet, par jugement du 3 mars 2004 rendu dans la cause opposant le recourant à C._ Assurances et à l'Etat de Vaud, la cour civile avait estimé que le notaire n'avait déployé aucune activité ministérielle ou professionnelle pour le recourant et n'avait pas commis d'acte illicite, de sorte qu'il n'avait pu engager sa responsabilité. L'instance précédente a déduit de l'absence de responsabilité du notaire constatée dans cette procédure que les droits de celui-ci sur le cautionnement solidaire n'avaient pas passé à l'Etat.
Sur la base de cette double motivation, la cour cantonale a conclu que l'Etat de Vaud a refusé à juste titre de réaliser le cautionnement solidaire.
4.3 Comme l'exige l'<ref-law> (<ref-ruling> consid. 6.3), le recourant s'en prend à ces deux motivations, de sorte qu'il convient d'entrer en matière.
Il soutient que la responsabilité du notaire n'est pas douteuse. Selon lui, la reconnaissance de sa créance par la masse en faillite équivaut à « une reconnaissance du notaire » au sens de l'art. 44 al. 1 RLNo/VD. Il estime que la créance colloquée est le titre juridique lui donnant droit à participer au produit de la réalisation. Il en déduit que la créance est établie et qu'ainsi, les droits du notaire ont passé à l'Etat qui a l'obligation de réaliser le cautionnement. A ses yeux, l'autorité précédente ne pouvait pas se fonder sur le jugement rendu par la Cour civile le 3 mars 2004, car celui-ci ne l'a pas opposé au notaire ou à sa masse en faillite. En outre, ce jugement ne traite que la question de sa légitimation active à agir sur la base du cautionnement.
4.4 En l'espèce, il convient d'observer que la collocation définitive d'une créance ne préjuge pas de l'existence de la prétention, les effets de l'état de collocation étant limités à la procédure de faillite en cours (<ref-ruling> consid. 2b et 3). C'est dire que même si le recourant a produit dans la faillite une créance découlant de la responsabilité civile du notaire et que celle-ci a été colloquée définitivement à concurrence de 1'000'000 fr., elle n'est pas opposable de ce fait aux tiers - en l'occurrence l'assurance responsabilité civile ou la caution - qui seraient recherchés sur la base d'un contrat. Dans la procédure opposant C._ Assurances en tant qu'assureur de la responsabilité civile et le recourant en qualité de cessionnaire des droits de l'assuré, soit le notaire, l'assurance a précisément opposé avec succès l'absence de responsabilité civile du notaire. Quoi qu'en dise le recourant, la caution peut en faire de même. La cour cantonale n'a donc pas interprété ou appliqué arbitrairement les art. 112 LNo/VD et 44 RLNo/VD en considérant que, dans le cadre de la réalisation du cautionnement, la seule collocation de la créance du recourant n'emportait pas « reconnaissance [de responsabilité] du notaire » au sens de l'art. 44 al. 1 RLNo/VD et que, par conséquent, les droits du notaire n'étaient pas passés à l'Etat. En d'autres termes, elle n'est pas tombée dans l'arbitraire en admettant que le dommage, dont le notaire est responsable et qu'il doit avoir reconnu, doit être compris dans son sens matériel et ne découle pas du seul fait que la masse a renoncé à poursuivre le procès. Le recourant se borne à affirmer le contraire, mais ne démontre nullement en quoi l'interprétation de la cour cantonale serait arbitraire.
Le recourant souhaite la réalisation de la caution pour obtenir le paiement de la créance qu'il prétend avoir contre le notaire - actuellement la masse en faillite - en raison des prétendus manquements de celui-ci. Or, le jugement du 3 mars 2004 a tranché la question de la responsabilité civile du notaire en concluant à l'absence de celle-ci. L'existence de la créance principale, que le cautionnement est censé garantir, a ainsi été niée. Dans la mesure où le cautionnement se caractérise par son caractère accessoire en ce sens que l'obligation de la caution dépend de l'existence et du contenu de la dette principale (<ref-ruling> consid. 3a), en l'occurrence de la dette du notaire à l'encontre du recourant, on ne peut reprocher à la cour cantonale d'avoir commis l'arbitraire en concluant que l'absence de responsabilité civile du notaire opposable à l'assureur en responsabilité civile valait également à l'égard de la caution. C'est d'autant plus le cas que la réalisation de la caution n'a lieu, en vertu de l'art. 112 al. 2 LNo/VD, que pour les montants non couverts par l'assurance de la responsabilité civile. En l'absence de responsabilité civile du notaire, soit de sinistre au sens de l'art. 112 al. 1 LNo/VD, il n'était pas arbitraire de retenir que les droits du notaire n'avaient pas passé à l'Etat. En se bornant à objecter que le procès ne l'a pas opposé au notaire ou à sa masse en faillite et que le jugement du 3 mars 2004 n'a pas traité du cautionnement au fond, le recourant ne démontre pas en quoi le raisonnement de la cour cantonale serait arbitraire.
Il s'ensuit que le recours doit être rejeté dans la mesure où il est recevable.
5. Vu le sort prévisible du recours, la requête d'assistance judiciaire doit être rejetée (<ref-law>). Les frais judiciaires, dont le montant sera fixé en tenant compte notamment de la situation financière du recourant (<ref-law>), doivent être mis à sa charge. L'intimé n'ayant pas été invité à répondre, il n'y a pas lieu de lui accorder des dépens.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 1'500 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué en copie au recourant, au Conseil d'Etat du canton de Vaud et à la Cour des poursuites et faillites du Tribunal cantonal vaudois.
Lausanne, le 9 janvier 2008
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le président: La greffière: