翁曾源出生官宦世家，为安徽巡抚翁同书之子