In 1473 stichtte jonkvrouw Margriet Simons Duitschdochter met hulp van vrienden een vrouwenklooster achter het Gravenhof dat aan de Gravenstraat lag. Hieraan ontleende het klooster de naam bacht ‘s gravenhove. De vrouwen leefden naar de Derde orde van Franciscus en werden ook wel de grauwe zusters genoemd. De kapel behorende tot het klooster stond aan het oostelijk deel van de straat die naar de grauwe zusters, zusterstraat werd genoemd. In 1495 werd de abt van de Norbetijner abdij, op dat moment Jan van Westkapelle, gekozen om als supervisor te dienen over het klooster. De kapel was ingebouwd tussen huizen. Bij de kerk kon ook begraven worden. In 1498 kwam er op verzoek van de Middelburgse linnenwevers, een verbod op het bedienen van weefgetouwen door de grauwe zusters, omdat de linnenwevers concurrentie vreesden. Een tweede verbod volgde in 1523 dat getekend was door keizer Karel V. In 1555 bepaalde het stadsbestuur van Middelburg dat er maximaal twaalf zusters mochten zijn, dat ze niet mochten bedelen en dat ze Frans moesten kunnen spreken om jonge meisjes Frans te leren en naaien. In 1559 werd aan de Sint-Jansstraat, dicht bij het klooster, een nieuwe vismarkt in gebruik genomen, de benaming Vismarktkerk kan hierna pas in gebruik zijn geraakt. Het klooster kwam niet ongeschonden uit de Beeldenstorm, wat in Middelburg op 21 augustus 1566 gebeurde. In 1566 betaalde de stad Middelburg meer dan 10 Vlaamse pond voor de reparatie en restauratie van gebroken altaren en beelden in het klooster. In 1569 werd de beeldensnijder Hans van Haelen betaald voor het maken van zeven nieuwe beelden met pedestallen. Na het Beleg van Middelburg (1572-1574) moesten alle geestelijken de stad Middelburg verlaten waaronder de grauwe zusters. Hierdoor kwamen het klooster en kapel buiten gebruik.