Issu d'une famille ouvrière, Grylewicz a complété un apprentissage de serrurier puis a exercé dans divers métiers du métal. Il rejoint le SPD en 1912 puis l' USPD en 1917 après sa fondation. En 1918/19, il est l'un des principaux membres du réseau des Délégués Révolutionnaires et, après la révolution de novembre, est temporairement adjoint du président de la police Emil Eichhorn. Dans cette fonction, il participe au soulèvement Spartakiste du côté du KPD . En 1920, Grylewicz devint président de l'USPD de Berlin et fait partie de la majorité de l'USPD, qui s'unit au KPD pour former le VKPD. Au cours des années suivantes, Grylewicz, qui a été élu secrétaire d'organisation du KPD pour Berlin-Brandebourg, a également occupé divers bureaux municipaux pour le parti. Appartenant à l'aile gauche du parti, il participe aux discussions sur les préparatifs de l'insurrection à Moscou en 1923 et fut élu à la direction du parti en 1924, de mai à octobre 1924, il fut également membre du Reichstag et de décembre 1924 à 1928 membre du parlement de l'État prussien.