Так и сохраняйте эти отношения, кто же вам мешает?  Просто не зовите его назад, а когда он начнет причитать и вас обвинять, я бы спокойно напомнила товарищу о том, что это у него была любовница, а не у вас и то, что он живет у бабушки есть логическим продолжением его измены. А что он хотел, собственно?