Rudsutak war Sohn einer Familie lettischer Landarbeiter. Ab 1903 arbeitete er in einer Fabrik in Riga. Zwei Jahre später schloss er sich der Lettischen Sozialdemokratischen Partei an. Wegen seiner politischen Einstellung wurde er 1907 verhaftet und zu zehn Jahren Zwangsarbeit verurteilt. Nachdem er einen Teil seiner Strafe in Riga abgesessen hatte, wurde er in das Butyrka-Gefängnis nach Moskau überstellt. Im Gefolge der Februar-Revolution wurde Rudsutak 1917 aus der Haft entlassen.