全手上，使他失去进军直选的桥头堡，2004年，他不再寻求连任。2011年,杨耀忠接任将军澳香岛中学校监一职。由1996年他在香岛多间分校当过教学及行政工作。至2015年，杨在香岛中学担任了十九年校长。2015年在天水围香岛中学校长一职退下后，他现任天水围香岛中学校监，在天水围香岛中学门口有喷漆「Thank you Mr Yeung」。 皇后码头清拆事件中，杨耀忠等人为求使政府拆卸天星码头而把它评定为三级文物，他更明言，指皇后码头的价值不大，结果委员会决议把皇后码头被评为一级文物。