育有长子若铉。南氏早逝后，丁载远娶了茶山的母亲，育有三子若铨、若钟、若镛。在他9岁的时候，丁若镛的母亲去世。之后，丁载远又娶了金氏。金氏侍奉载远公20年，育有一子若镶。丁若镛曾为金氏作《庶母金氏墓志铭》，为若镶作《为舍第镶赠言》。他的二哥若铨1801年辛酉邪狱时被流配，谪居16年后病逝于黑山岛。他的三哥若钟笃信天主教，在辛酉邪狱时殉教。丁若镛出生那年，丁载远因见思悼惨变，辞官还乡。丁若镛4岁时开始学习千字文，7岁时能开始作诗。有“小山蔽大山，远近地不同”之句。他的父亲曾将他10岁前的习作编辑于《三眉子集》（