，祖父杨政道曾被东突厥立为隋王，后归附唐太宗，拜员外散骑侍郎。其父杨崇礼官太府卿，死后葬于少陵原。有兄弟杨慎名跟杨慎余。慎矜生年没有记载。他依附杨国忠，自称同族宗亲，又受李林甫指使，诬告刑部尚书韦坚与节度使皇甫惟明同谋废帝。权位渐盛，李林甫忌之。天宝三年（744年），由于父坟「草木皆流血」，请教胡人史敬忠解除的办法。史敬忠教「身桎梏，裸而坐林中厌之」。开元中，为御史中丞。天宝六年十一月(747年)，慎矜和他兄弟以行厌胜之术（巫术诅咒）罪名被玄宗赐死。家人流放岭南。子杨谏，岳州刺史。