Faits: A. X._ est administrateur unique de la société "Fiduciaire et Gérance X._ SA". Cette société s'est vu confier par l'Office des poursuites d'Yverdon-Orbe la gérance légale d'un immeuble. Malgré plusieurs lettres et appels téléphoniques, X._ ou sa société n'ont jamais fourni à l'office des poursuites les renseignements sollicités sur la gérance ainsi que sur la comptabilité relative aux encaissements et paiements effectués. Par courrier du 27 septembre 2002, l'office des poursuites a fixé à "Fiduciaire et Gérance X._ SA" un ultime délai au 4 octobre 2002 pour transmettre la comptabilité relative à l'immeuble saisi, pour verser les loyers nets encaissés depuis fin mars 2002 et pour remettre les baux à loyer, le tout sous la menace des peines d'arrêts et d'amende prévus à l'article 292 CP. X._ ne s'étant pas exécuté, une plainte a été déposée le 16 octobre 2002. B. Par jugement du 10 octobre 2003, le Tribunal de police de l'arrondissement de l'Est vaudois a condamné X._ pour insoumission à une décision de l'autorité à 20 jours d'arrêts avec sursis pendant un an. C. Le 8 décembre 2003, la Cour de cassation pénale du Tribunal cantonal vaudois a rejeté le recours formé par X._ contre ce jugement, qu'elle a confirmé. La cour cantonale a estimé en premier lieu que la commination adressée à la société était valable pour ses organes et que X._, qui est l'administrateur unique de la société, était le seul destinataire possible de la commination. Elle a en outre admis que les exigences contenues dans la lettre comminatoire étaient suffisamment précises et les conséquences exposées de manière satisfaisante puisque la teneur intégrale de l'art. 292 CP y était reproduite. Enfin, comme X._ intervenait sur la base d'un mandat, il n'était pas à assimiler à un fonctionnaire ou une autorité de poursuite et le moyen de contrainte réservé à l'art. 292 CP lui est à l'évidence applicable. D. X._ se pourvoit en nullité contre cet arrêt. Invoquant une violation de l'art. 292 CP, il conclut, avec suite de frais et dépens, à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité cantonale pour qu'elle statue à nouveau. Le recourant sollicite en outre l'assistance judiciaire. E. Invité à présenter des observations, le Ministère public a conclu au rejet du recours, notamment au motif que le recourant ne fait pas partie des personnes visées par l'art. 14 LP et n'est donc pas passible des sanctions disciplinaires prévues par cette disposition. Pour sa part, l'autorité cantonale a renoncé à se déterminer sur le pourvoi, se référant aux considérants de son arrêt.