Автор, проблема у вас не в том, что у него ребенок, и не в том, что он приезжает, а в разных концепциях проживания с ребенком. В первом варианте - ребенок органично вписывается в жизнь семьи, семья живет вместе с ребенком, какие- то особые  напряги могут возникать в некоторые возрастные периоды, но не являются системой.Второй вариант называется "положи жизнь на ребенка", он подразумевает скачки вокруг ребенка и игнор всех остальных. Если мужик - сторонник такого подхода, то ваши интересы будут далее последовательно задвигаться. Причем совершенно неважно, будет общение проходить на вашей территории или на чьей- то еще. Но в вашем случае обнадеживает, что инициатором такого подхода является БЖ, а не он.