В вашем случае и вы у него дома бывали. То есть вы были в равных условиях и это совсем другая ситуация. А в случае автора, похоже, такого варианта нет. Меня бы это тоже напрягло на месте автора. При таком раскладе вообще нельзя быть уверенным, что парень за девочкой ухаживает, а не за квартирой.