А почему вы боитесь проблем на работе? Вы плохо справляетесь с обязанностями?Если нет, то скажите ему прямо, что он не в вашем вкусе, и вам нравится другой человек с которым вы хотите построить отношения, а посему его старания на этой почве бесполезны.Он вашу мягкость принял за согласие, надо более четко давать понять нравится вам человек или нет.