，立法院迁返南京，吴家象借故未与立法院同行，从而自动辞去了立法院立法委员的职务。1947年冬，吴家象携带家眷迁居江西庐山牯岭镇。国民政府多次派人劝吴家象赴南京就职，但均被吴家象拒绝。
人民共和国.1949年9月，吴家象协助中国人民解放军做解放庐山的工作。中华人民共和国成立后，应周恩来之邀，吴家象离开庐山赴北京。1950年10 月，吴家象被任命为政务院参事。在一次会议上，毛泽东接见与会代表时，周恩来向毛泽东介绍吴家象说：“这是原东北军的秘书长吴家象先生”。毛泽东随即与吴家象握手。