А опишите подробно ситуацию, как это он не идет. Т.е. они с папой играют в ,допустим,  войнушку, приходите вы и говорите:" сынок а пойдем со мной играть" что ли?А может ему просто неинтересно с вами игать?Зима скоро, можно будет из сннга крепости строить или норы рыть. Вы когда-нибудь с ним рыли нору в снегу?