В такой ситуации только терпеть и искать себе интересы, как писали выше. От того, что дальше будете сидеть и загоняться, толку не будет. В результате два варианта: либо его начнёт напрягать то, что Вам и без него неплохо и он поменяет работу, либо разойдётесь и начнёте строить отношения с теми, кто будет Вас устраивать.