许多寺社亦有「因为高山右近的军势而受破坏，一时间衰退」（）等的记录。而在『』等基督徒方的记述中，指右近没有强制住民和家臣信教（实际上，向寺社发出的所领安堵状亦是在受洗后发出），在绝大的影响力下，领内的住民差不多全是基督徒。因此废寺增加，破坏寺院以获得建设教堂的材料。
流放时期.由于受到秀吉信任，在天正13年（1585年），被赐予播磨国明石郡的新领地6万石，并以为居城。不过在不久后，秀吉发出伴天连追放令。吉利支丹大名陷入苦况，但是右近为了信仰，不惜舍弃全部领地和财产。此后暂时受小西行