白驹被撤销了广东省委书记和海南军区政委的职务；1958年1月，被下放到广东三水县任副县长。1963年4月，冯白驹到浙江省工作。职务除了原保留的第八届中共中央候补委员、国防委员会委员以外，还担任中国共产党浙江省委委员、浙江省副省长，分管文教卫生工作、血吸虫病防治工作。文化大革命中，遭受审查和迫害。1966年冯白驹在北京参加党的第八届十一中全会期间，陈毅元帅安慰白驹说：你是一位好同志，应该向前看，不要背包袱。冯白驹在被审查期间的1968年6月写出了《关于我参加革命过程的历史情况》的“交代”材料共3.5万字，