Lydersen vokste opp i et sørlandsk kystmiljø i Narestø på Flosta i Aust-Agder. Gjennom hele livet var Lydersen sterkt knyttet til sjøen og Narestø. Han tok examen artium i 1938. I 1943 ble han sivilingeniør ved Maskinavdelingen ved NTH, og var vitenskapelig assistent for professor Adolf Watzinger i tre år. Deretter arbeidet han to år som kjøleingeniør ved Kværner Brug i Oslo før han kom tilbake til NTH. Der underviste han i kjøleteknikk og tok dr.techn.-graden i 1950.