民党政府失望过甚，有意率部起义。但由于1949年国共和谈的进展，心中有所观望。1949年2月25日，林遵在英国的同学、重庆号巡洋舰舰长邓兆祥所率领的国军海军最强大的战舰起义，投奔解放军，引起国军海军内部极大震动，林遵也受到很大震动。此后，海军总司令桂永清多次威胁林遵必须看住第二舰队的军舰，如有发生叛逃必将重责，同时也利诱林遵，命其做好率舰南撤的准备，许诺只要能保住军舰，即晋升其为海军中将并提升为海军副总司令。桂永清的威逼利诱加速了林遵的起义决心。在中共地下党员的策反下，林遵决心起义。1949年4月2