Han vokste opp på gården Stordalen i Jondalen i nåværende Kongsberg kommune, der familienavnet skriver seg fra, og mange av forfedrene jobbet i generasjoner ved Kongsberg Sølvverk. Han flyttet som ung til Porsgrunn i Telemark og begynte å arbeide i sin onkel Hjalmar Stordalens dagligvareforretning der, som han overtok i 1962 og utvidet med flere filialer. Han samlet senere hele virksomheten på Stridsklev i Porsgrunn.