Olmi vokste opp i et dypt katolsk hjem i Bergamo. Familien flyttet til Milano da han var tre år gammel. Hans far døde i andre verdenskrig.