Так это и работает, он чувствует, что вы ушли в сторонку, и быстро вас подергает за ниточку, вернуть обратно в прежнее место. Возможно даже подсознательно. Уйти можно только порвав или разлюбив. Как вы ваш план собираетесь осуществить, мне не понятно.