"муж неоднократно приходил ко мне обедать, когда мы работали вместе" Как выразились, так и поняла. Но никакой особой разницы в вашем случае нет. Значит, в ту самую столовую была возможность приходить посетителям со стороны. Посетителям. За деньги. Платные услуги.  Не "к вам"