Agostino Trivulzio var yngstemann av seks barn av Giovanni Trivulzio og hans hustru Anna Martinengo, og var nevø til kardinal Antonio Trivulzio . Hans onkler Giangiacomo og Teodoro Trivulzio var marskalker av Frankrike. Andre kardinaler fra familien var/ble Trivulzzio Scaramuccia Trivulzio, Antonio Trivulzio og Giangiacomo Teodoro Trivulzio.