Klosterporten er en bygning fra ca. 1200 og er Danmarks eldste bebodde hus.I sidebygningen er et rom som kalles Saxos celle, men man kjenner ikke til Saxos eventuelle tilknytning til Sorø.