Faits: A. Le 24 avril 2009, le Juge d'instruction du canton de Genève a inculpé C._, D._, E._, F._ et G._, administrateurs et actionnaires de la société de gestion de fortune X._, de gestion déloyale. Il leur est reproché d'avoir porté atteinte à leurs clients en plaçant l'essentiel de leurs avoirs dans des "fonds Madoff", tout en percevant des rémunérations excessives. Des inculpations complémentaires ont été prononcées les 8 juillet et 10 décembre 2009. Plus de 75 plaintes ont été recueillies dans le cadre de cette procédure. En particulier, le 14 août 2009, A._ a déposé plainte pour gestion déloyale aggravée, en expliquant que ses fonds avaient été investis dans Y._ et Z._, sur conseil de l'un des inculpés, alors que ceux-ci étaient dirigeants de V._ et W._, entités chargées de la gestion effective des fonds. B. Par décision du 29 août 2011, le Ministère public a refusé de reconnaître la qualité de parties plaignantes à A._ et à son époux B._ (qui s'était constitué partie plaignante lors d'une audience d'instruction): le mandat de gestion avec X._ avait rapidement été annulé et les plaignants avaient donné des instructions de placement librement décidées. Par arrêt du 26 octobre 2011, la Chambre pénale de recours de la Cour de justice du canton de Genève a confirmé cette décision. En dépit d'un contrat de gestion conclu en novembre 2004, les plaignants avaient donné des instructions de placements claires et précises à X._. Il ne pouvait dès lors y avoir de gestion déloyale. Se référant à de précédentes décisions (cf. notamment arrêt 1B_311/ 2010 du 19 novembre 2010), la cour cantonale a considéré que rien ne permettait d'admettre que les inculpés auraient été les "organes de fait" de V._. Les témoignages proposés par les recourants sur ce point devaient être appréciés avec prudence puisqu'ils émanaient de personnes potentiellement impliquées. C. Par acte du 28 novembre 2011, A._ et B._ forment un recours en matière pénale par lequel ils demandent l'annulation de l'arrêt cantonal et la reconnaissance de leur qualité de parties plaignantes. La Chambre pénale de recours et le Ministère public se réfèrent à l'arrêt attaqué.