Не думайте что он что то пережил,поэтому боится так.Многим кошкам свойственно бояться чужих панически.Дети видно его любили,поэтому он им больше доверяет.И к вам привыкнет и полюбит.Пусть он видит кто его кормит,это тоже не мало важно.