Просто вы привыкли, что нравитесь, а тут вам показывают способность без вас прекрасно существовать. Вас, естественно, это задевает. Смахивает на несильную в вас заинтересованность - когда вы рядом, он "приклеивается", но поскольку не влюблен, то потом сразу вас "забывает". Это как раз характерно для легких отношений. А вы начинаете предъявлять претензии. Ну ушел, забыл, и вы забыли. Пришел - хорошо, радуетесь жизни. Все логично.