Мое мнение - разводиться надо когда это кому нибудь из супругов необходимо. Если бы Вы жили с любовником фактически семьей, и желали оформить отношения тогда это имело бы смысл. А в данный момент это ни на что не влияет, и заморачиватся такими вопросами, нет смысла.