Вам стыдно, потому что вы автоматически переносите свои отношения с подругой на него. И вам по отношению к подруге было бы так стыдно поступить. Но вы забываете, что они с Витей не друзья. Так что нет, отказаться погулять со знакомым, который вам неблизок и неинтересен, нестыдно.