吕苦桃出身山东寒族，以当时世族通婚惯例来看，杨忠家族可能出身于寒门山东杨氏。学者王桐龄推论杨坚家族可能有鲜卑血统，或是纯粹的鲜卑人，伪託为弘农杨氏出身。森安孝夫引用学者推论，以杨忠身高达2米，外貌轮廓分明，可能有高加索人种血统。中华人民共和国学者蒙曼则认为杨坚的族属是汉族。