Так вы его и не любите уже, так ведь? А он явно не любит вас. Можно сказать что вы просто дружите. Меняйте, конечно. Как только появился вопрос "менять ?"  это уже означает что о любви у вас речь не идет. Кстати, а зачем менять? Вам муж вообще обязателен? Может достаточно любовника уже?