Cependant Milon de Grancey était destiné à la prêtrise et deviendra évêque d'Autun de 1401 à 1414, il n'aura donc aucun enfant. Le fief de Pisy ne resta dès lors que peu de temps dans la famille de Grancey. En effet en 1412 Milon de Grancey en fait la donation, avec sa seigneurie et toutes ses dépendances en faveur de Pierre de Montot, seigneur de Saint-Phal (Champagne). Les ducs de Bourgogne lui confient plusieurs missions importantes pendant la Querelle des Armagnacs et des Bourguignons.