Не накручиваете. Так и есть. Моему мужу в голову бы не пришло (как и мне) собраться и уехать одному кататься на лыжах или купаться в море. Это даже не обсуждается. Нам хорошо вместе, интересно и спокойно. А ваш привык жить своей жизнью, а не общей. При этом он еще и не слышит вас. Если для него ровным счетом ничего не значит тот факт, что вы тоже хотите в горы, если он мог спокойно сказать"А на тебя денег нет, поэтому полечу только я" - это уже говорит о человеке и о его отношении к женщине.