I denne perioden ble Lee tvunget til å konkurrere med rivaler både innenfor og utenfor PAP. Mens Lee måtte holde seg på betryggende avstand fra sine prokommunistiske kolleger da de aktivt deltok i ofte voldsamme masseaksjoner for å underminere regjeringens autoritet, opprettholdt han konsekvent sin motstand mot den styrende koalisjonen, som han ofte anklaget for å være inkompetent og korrupt. Lees stilling innen PAP ble alvorlig truet i 1957 da prokommunister tok over ledelsespostene, etter en partikongress som partiets venstrefløyl hadde fylt med falske medlemmer.