Возможно он таким образом хочет проверить Ваше отношение к нему. Если он Вам дорог, лучше отказаться, сказать, что он часть Вашей жизни и Вы не намерены это скрывать. Вопрос конечно, чья квартира. Если бывший благородно оставил ее Вам, то да, могут быть проблемы. А так - нет, не нужно лгать и что-то изображать за спиной.