а конкретная квартира тут не причем. Вы определяете место жительства с вами, а где-это уже другой вопрос. может вы в будущем смените место жительства.  И на график общения , я считаю, лучше подать вам. Если подаст он, то он будет истец, а вы потом должник. Если он будет чудить, то вы воспользоваться исполнительным листом  по графику общения и прижать его не сможете, ибо вы должник. Приставы скажут: вы должник, подавайте на изменение графика общения.