I 1950-årene og 1960-årene opplevede Illum stigende konkurranse fra storsentrene som begynte å skyte opp i hovedstadsområdet. Midt i 1960-årene bygget man en parkeringskjeller og foretok en større ombygning i kampen om kundenes gunst. Dette var dog ikke nok til å gjøre selskapet til en god forretning, og i 1972 måtte familien selge.