公孙家同属卫氏外戚集团，公孙敬声的父亲叫公孙贺、母亲叫卫孺，而卫孺是卫子夫的姐姐