机关当首脑；不做地方官吏；不做幕僚”。蒋介石便安排吴家象出任立法院立法委员。1942年，吴家象出任立法院立法委员。1946年4月，立法院迁返南京，吴家象借故未与立法院同行，从而自动辞去了立法院立法委员的职务。1947年冬，吴家象携带家眷迁居江西庐山牯岭镇。国民政府多次派人劝吴家象赴南京就职，但均被吴家象拒绝。
人民共和国.1949年9月，吴家象协助中国人民解放军做解放庐山的工作。中华人民共和国成立后，应周恩来之邀，吴家象离开庐山赴北京。1950年10 月，吴家象被任命为政务院参