胡道安出身贫微，义熙初年（405年）宋武帝刘裕收她为妾，义熙三年（407年），在京口给刘裕生了第三子刘义隆，时年她已近四十岁