Der aus einer Arbeiterfamilie stammende Grylewicz absolvierte eine Schlosserlehre und arbeitete in verschiedenen Metallberufen. 1912 trat er der SPD bei und schloss sich 1917 nach deren Gründung der USPD an. 1918/19 war er ein führendes Mitglied der Revolutionären Obleute und war nach der Novemberrevolution zeitweise Stellvertreter des Polizeipräsidenten Emil Eichhorn. In dieser Funktion nahm er auch an der Seite der KPD am Spartakusaufstand teil. 1920 wurde Grylewicz Vorsitzender der Berliner USPD und war Teil der Mehrheit der USPD, welche sich mit der KPD zur VKPD vereinigte. In den nächsten Jahren nahm Grylewicz, der zum Organisationssekretär der KPD für Berlin-Brandenburg gewählt wurde, auch verschiedene kommunale Ämter für die Partei wahr. Zum linken Flügel der Partei zählend, beteiligte er sich 1923 in Moskau an Diskussionen zu Aufstandsvorbereitungen und wurde 1924 in die Parteizentrale gewählt, von Mai bis Oktober 1924 war er zusätzlich Reichstagsabgeordneter, ab Dezember 1924 bis 1928 Abgeordneter des Preußischen Landtages.