А почему вы это со своим духовником не обсуждаете, а на форуме? Вот что он вам скажет, так и поступайте. Как можно не ходить в церковь из-за какого-то человека, который вам вообще никто и на его отношение можно наплевать? Как эти вещи вообще возможно сопоставить, если вы верующий человек?