Все правильно. Ничего Вы никому не должны. Единственно, что было бы любезно с Вашей стороны сделать: показать ожидающему водителю, что Вы его заметили и что пока не собираетесь уезжать. Чтобы он зря не коптил небо выхлопом и время не тратил.