Polak groeide op in een Joods gezin. Hij was de zoon van Maurits Polak (1899-1972) en Clara Helena Drielsma (1901-1994). en had een jongere broer met de naam David. Zijn vader Maurits had metaalbedrijf in Middelburg. Lion Polak bezocht daar van 1937 tot 1941 het gymnasium. Na de Duitse inval in mei 1940 probeerde het gezin naar Frankrijk te vluchten. Het gezin keerde terug naar de Zeeuwse hoofdstad nadat bleek dat ook de Fransen geen weerstand konden bieden tegen de nazi's.