Так вас что волнует- как это будет выглядеть со стороны? Придумывайте тогда себе предлоги, чтобы не ездить к  ней. Записывайтесь в  салон, на тренировку или куда там еще. Пусть муж едет, вы идите по своим делам. Если не хотите открыто дать понять, что вам эти поездки нах не уперлись. Хотя я предпочитаю просто не общаться с теми, кто мне неприятен.