Olsen eier tilsammen 38 bilder laget av Edvard Munch, hvorav 20 er oljemalerier. Han eide en av de fire originale utgavene av Edvard Munchs (1893), i pastell, og har vært involvert i en juridisk feide med broren sin vedrørende den viktige Munch-samlingen som deres far, Thomas Olsen etablerte. Ifølge hans kones, Henriettes testamente, skulle samlingen overgå til Petter, den yngste sønnen. Fred. Olsen ville ikke anerkjenne dette, og gikk til sak mot sin bror. Petter Olsen endte med å vinne saken på alle punkter, først i Oslo byrett i 2001, deretter i Borgarting lagmannsrett året etter.