Lyoulka est natif d'un petit village près de Kiev. Il termine ses études à l'Institut polytechnique de Kiev (où l'un de ses maîtres est le célèbre mathématicien Mykhaïlo Kravtchouk) en 1931. Il travaille ensuite à l'usine de générateurs de Kharkov puis rejoint en 1933 l'institut aéronautique de cette ville. Dès 1934, il commence ses recherches sur un projet de turbine à gaz. En 1937, il prend la direction de l'institut où il est actif jusqu'en 1939. En 1940, son premier moteur à réaction fournissant une poussée et muni d'un compresseur axial, le RD-1, est prêt à être testé en vol, mais l'invasion allemande met un terme à l'entreprise. Pendant et après le conflit, Lyoulka et son équipe construisent un grand nombre de moteurs à réaction.