王玉云于13、14岁时远离乡里到高雄发展，早年曾于左营日本海军设施充当小工。战后投入警界，由「一毛一」刑警做起，在公务余暇时兼做小本五金买卖。
踏入政坛.1958年高雄市第四届省辖市议员选举，王玉云以「无党无派」为号召，投入盐埕区选区选举。并与省议员李源栈互相拉抬，最后一举当选。在议会中，王玉云以「小钢砲」（郭国基号称「大砲」）之称直言，崭露锋芒。1961年第五届副议长选举，王玉云以党外的身分对上国民党提名的吴钟灵，最后两人都以十八票同票，抽签结果由王玉云当选。王玉云在副议长