Откуда вы знаете, пофиг ему или нет? Не надо так говорить, но и сглаживать тоже не надо. Скажите, папа какой есть, любит тебя как умеет. Возможно к нему так же относился его отец. Если вашему сыну не нравится, пусть делает выводы на свое будущее отцовство.