Если ваш муж очень скрытный человек, к тому же в некотором смысле ортодокс (женился, значит на всю жизнь, меняться не буду, терпи если замуж вышла), тогда это не удивительно. Вам попался очень редкий экземпляр.  Вот что делать - это вам никто не посоветует, разве что к психологу пойти. На счет вашей вины - муж будет считать, что вы его предали и свершили просто смертный грех. Что будете считать вы - это дело вашей совести. Я бы советовала не загонять себя в чувство вины. Даже если вы совершили очень плохой поступок, это повод сделать вывод, попросить прощения у пострадавшей стороны и впредь так не поступать.   ИМХО, я бы развелась. Объяснила бы мужу суть фразы "я с тобой не живу, а мучаюсь". Правда, тут надо учесть, что такие натуры бывают очень мстительными. Я бы ожидала в случае развода иска об определении места жительства детей с отцом (истец - муж, разумеется)