Pedro es conocido por su relación con Inés de Castro, quien llegó a Portugal como dama de compañía de su segunda esposa, la infanta castellana Constanza Manuel.