Отказаться не получится. Банк не станет выдавать займ человеку, который не желает подписывать согласие. Без ПД сотрудники организации не смогут составить договор и разыскать заемщика в случае просрочки.