祖父方振武（1885年－1941年）是国民党抗日名将，父亲方心诰（1913年－1950年）是纺织品商人，母亲方召麐（1914年－2006年）是国画大师，曾拜赵少昂和张大千等为师。叔父是着名骨科医生方心让爵士（1923年－2009年），堂妹方敏生则是香港社会服务联会行政总裁。陈方安生在家中八名兄弟姊妹中排行第二，为家中长女，其妹陆方宁生与她是双生儿。她的长兄方曼生是律师，弟弟方津生与叔父同是骨科医生。
早年生涯.1948年，陈方安生全家前往香港定居，但父亲于1950年病逝，家境一度困