Faits:
A. X._ est administrateur unique de la société "Fiduciaire et Gérance X._ SA". Cette société s'est vu confier par l'Office des poursuites d'Yverdon-Orbe la gérance légale d'un immeuble. Malgré plusieurs lettres et appels téléphoniques, X._ ou sa société n'ont jamais fourni à l'office des poursuites les renseignements sollicités sur la gérance ainsi que sur la comptabilité relative aux encaissements et paiements effectués. Par courrier du 27 septembre 2002, l'office des poursuites a fixé à "Fiduciaire et Gérance X._ SA" un ultime délai au 4 octobre 2002 pour transmettre la comptabilité relative à l'immeuble saisi, pour verser les loyers nets encaissés depuis fin mars 2002 et pour remettre les baux à loyer, le tout sous la menace des peines d'arrêts et d'amende prévus à l'article 292 CP. X._ ne s'étant pas exécuté, une plainte a été déposée le 16 octobre 2002.
B. Par jugement du 10 octobre 2003, le Tribunal de police de l'arrondissement de l'Est vaudois a condamné X._ pour insoumission à une décision de l'autorité à 20 jours d'arrêts avec sursis pendant un an.
C. Le 8 décembre 2003, la Cour de cassation pénale du Tribunal cantonal vaudois a rejeté le recours formé par X._ contre ce jugement, qu'elle a confirmé.
La cour cantonale a estimé en premier lieu que la commination adressée à la société était valable pour ses organes et que X._, qui est l'administrateur unique de la société, était le seul destinataire possible de la commination. Elle a en outre admis que les exigences contenues dans la lettre comminatoire étaient suffisamment précises et les conséquences exposées de manière satisfaisante puisque la teneur intégrale de l'<ref-law> y était reproduite. Enfin, comme X._ intervenait sur la base d'un mandat, il n'était pas à assimiler à un fonctionnaire ou une autorité de poursuite et le moyen de contrainte réservé à l'<ref-law> lui est à l'évidence applicable.
D. X._ se pourvoit en nullité contre cet arrêt. Invoquant une violation de l'<ref-law>, il conclut, avec suite de frais et dépens, à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité cantonale pour qu'elle statue à nouveau.
Le recourant sollicite en outre l'assistance judiciaire.
E. Invité à présenter des observations, le Ministère public a conclu au rejet du recours, notamment au motif que le recourant ne fait pas partie des personnes visées par l'<ref-law> et n'est donc pas passible des sanctions disciplinaires prévues par cette disposition.
Pour sa part, l'autorité cantonale a renoncé à se déterminer sur le pourvoi, se référant aux considérants de son arrêt.

Le Tribunal fédéral considère en droit:
1. Le recourant reproche à l'autorité cantonale d'avoir violé l'<ref-law>.
Conformément à cette disposition, celui qui ne se sera pas conformé à une décision à lui signifiée, sous la menace de la peine prévue audit article, par une autorité ou un fonctionnaire compétents, sera puni des arrêts ou de l'amende.
Le recourant soutient en premier lieu que la commination n'était pas valable car elle ne lui était pas adressée personnellement mais avait pour destinataire la société anonyme dont il est administrateur unique.
S'agissant du destinataire de l'injonction, la doctrine admet que celle-ci ne saurait viser tout un chacun (Corboz, Les infractions en droit suisse, Volume II, Berne 2002, n. 3 ad <ref-law>), mais qu'elle doit s'adresser soit à une personne, soit à un cercle donné de personnes. Il n'est pas nécessaire que celles-ci soient désignées nommément, mais il faut au moins que le destinataire, qu'il s'agisse d'une personne ou d'un cercle de personnes, puisse être déterminé (Trechsel, Kurzkommentar StGB, 2e éd., Zurich 1997, n. 3 ad art. 292; Donatsch/Wohlers, Strafrecht IV, 3ème éd., Zurich 2004, p. 337) sans difficulté et avec certitude (Riedo, Basler Kommentar II, art. 292 n. 44). Selon Peter Stadler (Ungehorsam gegen amtliche Verfügungen, thèse, Zurich 1990, p. 75), il doit en outre s'agir d'une personne physique, qui peut être membre d'un cercle donné, par exemple un organe d'une personne morale.
Selon la jurisprudence, il suffit que les indications contenues dans la commination permettent de déterminer quelles sont les personnes visées. Il est évident que seule une personne physique peut être astreinte à un certain comportement, tout comme seule une personne physique peut être menacée des sanctions pénales prévues à l'<ref-law>. Ainsi, lorsque la menace de la mise en application de l'<ref-law> est adressée à une personne morale, il faut considérer que l'injonction s'adresse à la personne physique qui, en tant qu'organe de la société, a la compétence de prendre des décisions au nom de celle-ci et de les communiquer à des tiers (ATF 78 IV 237, p. 239 s.). Si une imprécision dans la désignation du destinataire a pour conséquence que celui-ci n'est pas conscient de l'injonction qui lui est faite, il faut renoncer à appliquer l'<ref-law> dont l'élément subjectif n'est pas réalisé faute d'intention. Si en revanche le destinataire connaissait l'injonction, il ne se justifie pas de le libérer pour la seule raison qu'il a été désigné autrement que par son nom (ATF 78 IV 237, p. 239).
Dans son mémoire, le recourant se plaint d'une violation des principes dégagés par la jurisprudence au motif que la commination était adressée à la société anonyme sans qu'ait été cité le nom de la personne directement visée. Il ne prétend toutefois pas qu'il n'aurait pas eu connaissance de l'injonction qui lui a été adressée, ni qu'il aurait pensé qu'elle était destinée à quelqu'un d'autre, ni même qu'il y aurait eu un risque de confusion sur la personne du destinataire. Par ailleurs, il ressort des constatations de fait de l'arrêt attaqué, qui lient le Tribunal fédéral saisi d'un pourvoi en nullité (art. 277bis al. 1 PPF), que la commination adressée à la société anonyme n'a pas eu d'autre destinataire que le recourant, qui est l'administrateur unique de cette société. Dans ces circonstances, force est de constater que le fait que la commination ait été formellement adressée à la société gérée par le recourant ne laissait planer aucun doute sur le fait que c'était bien à celui-ci qu'était destinée l'injonction qu'elle contenait. Cela suffit pour que l'on doive considérer qu'elle a été valablement signifiée au recourant. Ce premier grief est donc mal fondé.
2. Le recourant reproche en outre à l'autorité cantonale d'avoir considéré à tort que la lettre comminatoire qui lui avait été adressée satisfaisait aux exigences relatives au contenu de la menace. Selon le recourant, l'autorité l'a simplement averti qu'elle se réservait le droit de porter plainte, sans faire expressément référence à la menace des peines d'arrêts et d'amende prévues à l'<ref-law>, en se limitant à un simple renvoi à cette disposition retranscrite en bas de page du courrier comminatoire.
Conformément à l'<ref-law>, l'insoumission à une décision de l'autorité n'est punissable que si la commination a été signifiée sous la menace de la peine prévue par cette disposition. La notification de l'injonction doit indiquer avec précision les sanctions auxquelles le destinataire s'expose s'il n'obtempère pas. Il ne suffit pas de se référer à l'<ref-law> ou de parler de sanctions pénales. Il faut indiquer précisément qu'une insoumission est, en vertu de l'<ref-law>, passible des arrêts ou de l'amende (<ref-ruling> consid. 1; voir également <ref-ruling> consid. 4e, p. 312).
En l'espèce, il ressort des constatations de l'arrêt attaqué que la lettre comminatoire reproduit intégralement le texte de l'<ref-law>, ce qui suffit manifestement pour que l'on doive admettre que le recourant devait savoir que s'il n'obtempérait pas il s'exposait à une peine d'arrêts ou d'amende. Ce grief est donc également mal fondé.
3. L'application de l'<ref-law> suppose notamment que l'auteur ne se soit "pas conformé à une décision à lui signifiée".
La définition de la décision au sens de l'<ref-law> est la même que celle qui a été développée en droit administratif (Riedo, op. cit., art. 292 n. 36). Il doit donc s'agir d'une décision concrète de l'autorité, prise dans un cas particulier et à l'égard d'une personne déterminée et qui a pour objet de régler une situation juridique de manière contraignante (voir Riedo, op. cit., n. 37; Häfelin/Müller, Allgemeines Verwaltungsrecht, 4e éd., p. 178 n° 854). La décision a pour objet de régler la situation d'administrés en tant que sujets de droit et donc, à ce titre, distincts de la personne étatique ou, en d'autres termes extérieurs à l'administration. On oppose dans ce contexte la décision à l'acte interne, ou d'organisation, qui vise des situations à l'intérieur de l'administration (Moor, Droit administratif II, 2e éd., n° 2.1.2.3, p. 164). Deux critères permettent de déterminer si on a affaire à une décision ou à un acte interne. D'une part l'acte interne n'a pas pour objet de régler la situation juridique d'un sujet de droit en tant que tel et d'autre part le destinataire en est l'administration elle-même, dans l'exercice de ses tâches. Ainsi, un acte qui affecte les droits et obligations d'un fonctionnaire en tant que sujet de droit, par exemple la fixation de son salaire, d'indemnités diverses ou encore de sanctions disciplinaires, est une décision. En revanche, un acte qui a pour objet l'exécution même des tâches qui lui incombent en déterminant les devoirs attachés au service, tel que la définition du cahier des charges ou des instructions relatives à la manière de trancher une affaire, est un acte interne juridique (voir <ref-ruling>, p. 478 s.; Moor, op. cit. loc. cit., Häfelin/Müller, op. cit., p. 181 n° 867 et les références citées).
Lorsque la commination n'est pas une décision, telle qu'elle vient d'être définie, mais un acte interne, ce sont les mesures disciplinaires ou autres moyens de contrainte ressortissant aux règles régissant les rapports internes qui s'appliquent (<ref-ruling> consid. 6, p. 175 et l'arrêt cité; Riedo, op. cit., art. 292 n. 46; Corboz, op. cit., n. 4 ad <ref-law>; Peter Stalder, op. cit., p. 75; Walter Eigenmann, Die Androhung von Ungehorsamsstrafen durch den Richter, thèse, Zurich 1964, p. 18; Schwander, Von den Ungehorsamsdelikten, ZSGV 1950, p. 417).
Peut demeurer ouverte la question de savoir si les sanctions prévues par l'<ref-law> peuvent être appliquées s'agissant d'un acte adressé par une collectivité publique à une autre collectivité publique (cf. Heinrich Andreas Müller, Der Verwaltungszwang, thèse Zurich 1975, p. 141 s.).
En l'espèce, la commination adressée au recourant avait pour objet la fourniture de renseignements et de pièces comptables relatifs à des travaux de gérance qu'il effectuait sur la base d'un contrat de gérance légale qui lui avait été confié par l'office des poursuites et faillites. Le contenu d'un tel mandat est déterminé de manière précise et détaillée par les dispositions sur la gérance (art. 17 et 18 de l'ordonnance du Tribunal fédéral du 23 avril 1920 sur la réalisation forcée des immeubles; ORFI; RS 281.42), qui prévoient notamment que celle-ci comprend la commande et le paiement de petites réparations, le renouvellement des assurances usuelles, la résiliation des baux, la rentrée des loyers au besoin par voie de poursuites, de sorte que l'on se trouve dans un domaine qui fait l'objet d'une réglementation détaillée de droit public. Ainsi, le tiers chargé de la gérance légale doit être considéré comme un auxiliaire de l'office, dont le mandat est régi pour l'essentiel par le droit fédéral de la poursuite (<ref-ruling> consid. 1.2 et 1.3). Par ailleurs, on peut encore noter qu'il doit être considéré également comme un auxiliaire susceptible d'engager la responsabilité du canton en vertu de l'<ref-law> (Amonn/Walther, Grundriss des Schuldbetreibungs- und Konkursrechts, 7e éd., Berne 2003, § 5 n. 11).
Dans ces circonstances, il y a lieu d'admettre que la commination litigieuse avait trait à l'exécution de tâches administratives et constituait ainsi un acte interne et non une décision au sens de l'<ref-law>, qui ne peut donc trouver application, l'un des éléments constitutifs de cette disposition n'étant pas réalisé.
Il faut encore noter que l'exclusion de la possibilité de réprimer en application de l'<ref-law> un comportement comme celui du recourant n'a pas pour conséquence de lui assurer l'impunité. En effet, ainsi que cela a été relevé, un tel comportement dans le cadre de relations internes est à sanctionner par la mise en oeuvre de règles disciplinaires. En matière de poursuite pour dettes et faillite, celles-ci sont régies par l'<ref-law>. Le critère déterminant pour la soumission au droit disciplinaire étant l'accomplissement de tâches de droit public attribuées par le droit fédéral de l'exécution forcée à des autorités ou organes que les cantons doivent instituer et organiser (Gilliéron, Commentaire de la loi fédérale sur la poursuite pour dettes et la faillite, n. 24 ad <ref-law>), cette disposition est applicable au recourant, qui a agi en tant qu'auxiliaire de l'office des poursuites et faillites.
Dès lors que la condamnation du recourant en application de l'<ref-law> procède d'une violation du droit fédéral, le pourvoi doit être admis.
4. Vu l'issue de la procédure, il ne sera pas perçu de frais (art. 278 al. 2 PPF) et une indemnité de 3'000 fr. sera versée au recourant (art. 278 al. 3 PPF); il n'y a par conséquent pas lieu de statuer sur la requête d'assistance judiciaire.

Par ces motifs, le Tribunal fédéral prononce:
1. Le pourvoi est admis.
2. L'arrêt attaqué est annulé et la cause renvoyée à l'autorité cantonale pour qu'elle statue à nouveau.
3. Il n'est pas perçu de frais.
4. La Caisse du Tribunal fédéral versera au recourant une indemnité de 3'000 fr. à titre de dépens.
5. Le présent arrêt est communiqué en copie au mandataire du recourant, à la Cour de cassation pénale du Tribunal cantonal et au Ministère public du canton de Vaud.
Lausanne, le 10 novembre 2004
Au nom de la Cour de cassation pénale
du Tribunal fédéral suisse
Le président: La greffière: