Помимо неоднозначной реакции коллеги, вы может себя сами накручиваете, тем более после декрета и сразу на работу, где не очень себя пока комфортно чувствуете. А коллега еще тот трус, похоже, попробуйте тоже побалагурить, вам просто "своей" надо в коллективе стать, симпатии других на свою сторону перетянуть.