Il vit surtout à Castres, qui devient comté en 1356 et combat à Poitiers (1356) où il est fait prisonnier. En 1362, une troupe de Gascons et d'Anglais s'emparent de la ville et font prisonnière la comtesse Jeanne de Ponthieu et pillent la région. Plusieurs tentatives de délivrer la ville par les armes échouèrent, et Jean VI dut se résoudre à payer une rançon pour récupérer la ville.