Игнорировать. Возобновлять беседу с того места, на котором он вас прервал. Если удобно, пару раз сказать "Вася, извините, у нас личный разговор". Если очень сильно бесит - обратиться к его начальству, чтобы призвало своего сотрудника к порядку, сообщить ,что такой-то мешает работать своей болтовней.