Ну, если бы я сидела, ждала человека, который опаздывает, да еще и к телефону не подходит, то очень бы задумалась и возможно бы тоже ушла. Вы забыли о времени, он был удивлен, что его заставили ждать, не берут трубку, не предупредили, что опаздывают. Короче говоря, вы друг друга стоите.