Faits: A. X._ se trouve en détention provisoire à la Prison de Champ-Dollon. Le 27 octobre 2010, il a dû prendre pendant trois jours ses repas en cellule avec ses co-détenus au motif que du papier avait été accroché à la porte de la cellule. Le 19 novembre 2010, l'Office pénitentiaire considéra qu'il n'y avait pas de droit à un repas en commun, que plusieurs unités servaient les repas en cellule et qu'il n'y avait dès lors pas de décision susceptible de recours. B. Le 22 décembre 2010, X._ a demandé l'assistance juridique administrative en vue de recourir contre cette décision auprès de la juridiction administrative genevoise. Par décision du 7 janvier 2011, le Vice-président du Tribunal de première instance a rejeté cette demande. La prise d'un repas en commun ne constituait pas un droit et la mesure contestée ne faisait pas partie des sanctions susceptibles de recours selon le règlement sur le régime intérieur de la prison et le statut des personnes incarcérées (RRIP; RS/GE F 1 50.04). Par décision du 4 mars 2011, le Vice-président de la Cour de justice genevoise a confirmé cette décision, le recours envisagé étant dénué de chance de succès. C. Par acte du 7 avril 2011, X._ forme un recours en matière pénale par lequel il demande l'annulation de la décision cantonale et l'octroi de l'assistance juridique, subsidiairement le renvoi de la cause à l'autorité cantonale pour nouvelle décision au sens des considérants. Il demande en outre l'assistance judiciaire pour la procédure devant le Tribunal fédéral. Le Vice-président de la Cour de justice conclut au rejet du recours dans la mesure où il est recevable. Le Ministère public a renoncé à formuler des observations.