Он ведь имеет право говорить и спрашивать что угодно, тем более, он это делает не с целью вас задеть. А вы имеете право не поддерживать неприятную тему и после формального односложного ответа - переводить разговор на другое, то что вам ближе или спокойней. На детей своих, опять же.