Просто ваш муж не созрел для семьи. Ему интереснее с друзьями, нежели с вами и ребенком. У вас 2 варианта - смириться и не трепать себе нервы, возможно со временм у мужа изменяться приоритеты. Ну или разойтись. Увы, третьего не дано