Ребенку будет гораздо спокойнее, когда вы твердо скажете, что не придете. Он ваши приходы может воспринимать, как тревогу за него, и из-за этого его собственная тревожность растет. Вот это ваше скорбное "он у меня один" выдает ваше неадекватное к нему отношение. Вы сами его не отпускаете, вам выгодно, чтобы он оставался малышом.