Должен-не должен... Это вы должны были сказать, что поедете с ним. И если из-за этого вырастет непонимание или даже ссора - то решать дальше судьбу отношений по ходу развития событий. Не пригласить вас он мог по огромному ряду причин начиная с "не подумал" и заканчивая "у нас просто секс".  А вот то что вы в тряпочку молчали а теперь губы дуете - ничего хорошего о вас и ваших будущих отношениях точно не говорит. Обижаться абсолютно бессмысленно, надо сделать выводы из ситуации и принять меры, чтобы в дальнейшем ваши отношения развивались с вашим участием.