Ну, если с точки зрения церкви, то, если Вы будете изменять - это будет блуд, т.е. да - смертный грех. Тогда нужно разводиться и искать другого мужа (тем более, что церковных препятствий к разводу в виде венчания нет - у Вас невенчанный брак). Другое дело, что может попробовать ещё что-то в этом браке наладить? Вы же верующий, хоть немного человек. Подойдите, действительно, к батюшке (может есть какой-то, какой Вам кажется по душе). Они иногда очень действенные вещи советуют. И не стесняйтесь, им много чего приходится слышать гораздо похуже того, что у Вас.