玉亨、丁应斗、丁胤福、丁好善、丁彦壁、直到丁时润（丁若镛第五世祖）连续八代都是“玉门出身”。此后，家道中落，他的高祖父丁道泰，荫补通德郎。曾祖父丁恒慎进士及第。祖父再次荫补通德郎。他的父亲丁载远（1730-1792年）历任全罗道和顺县监、庆尚道醴泉郡守、蔚山府使等地方官，其后终老于晋州牧使任上。丁若镛的母亲海南尹氏是朝鲜文学大师尹善道之后。丁载远的第一任夫人是宜宁南氏，育有长子若铉。南氏早逝后，丁载远娶了茶山的母亲，育有三子若铨、若钟、若镛。在他9岁的时候，丁若镛的母亲去世。之后，丁载远又娶了金氏。金氏侍奉