Реакция мужчины совершенно нормальная. Но задуматься о том, зачем Вы создали этот прецедент стоит. Вы не чувствуете в целом того эмоционального отклика, который бы хотели получить на ваши отношения и поэтому начинаете считать: вот когда Вы вместе он вовлечён, а когда не вместе нет. Просто общий фон для вас «тревожный», поэтому и претензии начинаются. С учётом того, что Вы росли в семье алкоголика, я думаю, что в Вас вшит это скрипт поиска близости и постоянного подтверждения «я нужна», «меня любят». Вот об этом бы я подумала. Короче ситуация порассуждать не почему он, а почему Вы.