А кроме бытовухи о чем говорите? Есть общие интересы не только на тему "что было сегодня на работе"? А вы его работой интересуетесь? А о политике, искусстве, науке, литературе... и т. д. и т. п. вы говорите? Если на такие темы вы общаетесь, то вполне возможно, что он вас к вашей работе ревнует.