Ага, надо было гордо бросить ему в лицо, что в подачках не нуждаетесь. Так?  Если бы вы прилюдно отказались от премии, то скоро искали бы себе другую работу.И ходить, возвращать не надо. Не надо показывать, что вы себя мало цените, иначе и начальство ценить перестанет. А вот в удобный момент подойти и еще раз с чувством поблагодарить - самое то.