Объяснение мужа вполне приемлемо. Можете травить себе душу, что у него КПЖ, но скорее всего уже устоявшиеся семейные отношения без надрыва первых лет не требуют постоянного присутствия вас рядом. Это нормально. Поскучаете, а встреча будет приятнее.