由发起的罢免陈武璋案，巫义德发出一万份传单，列举陈武璋的「罪状」，一时传遍全市。一度取得选区千分之一公民的提议。虽然在各级「疏通」下，使这个全省第一个罢免市长案无疾而终，但也很大打击了陈武璋的政治前途，影响陈武璋的连任。在第四届市长选举时，国民党提名了陈启川。
卸任后.市长卸任后，陈武璋一度远走新加坡经营木业。并在东南亚扩展商业领域。1968年第六届高雄市长选举，陈武璋从新加坡返台宣布参选高雄市长，并获得国民党提名。对上四度挑战市长的杨金虎，陈武璋虽获得国民党副秘书长谢然之坐镇