Após a queda do Império Bizantino pela Quarta Cruzada em 1204, a família declinou, embora permaneceram membros da aristocracia e ainda aparecem como proprietários e ocupando postos no serviço imperial. Um protosebasto Teodoro serviu como general sob o imperador niceno e outro membro da foi comandante da fortaleza Garela durante a guerra civil de 1341–1347, rendendo-a para em 1343. Um Jorge foi proprietário em Melênico em 1309 e doou terras ao Mosteiro de Zografo, um Demétrio Comneno Contostefano vendeu uma casa em Constantinopla para Maria Paleóloga e foi casado com Teodora Ducena Acropolitissa e um membro sem nome da família reteve grandes propriedades em Lemnos em ca. 1435/1444.