主教后，在一个记者会上就因为清拆十字架一事的言论而遭受批评，并被指他正袒护中共政府。杨在记者会上说清拆十字架时间可能是因为建筑物安全问题，并说因为中国对宗教有规管，所以会尊重当地的规条。
反应.浸会大学宗教及哲学系高级讲师陈士齐认为杨此番言论是「十分软弱的表态」，并反映他并没有承担捍衞宗教自由这个责任的勇气，还说这代表香港人并不能期望他会捍卫港人权益。前立法会议员，现任浸大政治及国际关系学系副教授陈家洛认为从这番言论显示，杨已经予人一种「有事唔该唔好烦我」印象，并说杨在这些