Filippa hadde vært svært populær blant Københavns befolkning, og de tok det ille opp at kong Erik holdt hennes hoffdame Cæcilie som sin frille. Trolig talte ridderen Oluf Axelsen Thott på manges vegne da han stanset Cæcilie en dag han traff henne på Højbro på vei til slottet, og spurte henne om hun ville ta med en beskjed til kongen. Da hun svarte ja, smekket Axelsen henne over baken og bad henne med grove ord fortelle kongen at hun skulle drive ham ut av Danmark. Det ble sagt at Erik tok seg så nær av episoden at han dro til Kalundborg og derfra med rikets kostbareste skatter til Gulland, der han siden holdt seg.