По-моему, дело не столько в вашей памяти, сколько в стрессе. Вам бы, по-хорошему, в тихую спокойную организацию, тем же секретарём, просто чтобы без эксцессов было. Будет спокойно - вы перестанете стрессовать постоянно - перестанете вот прям совсем всё-всё забывать. В объёмах, необходмых для работы, помнить будете. По описанию, у вас с памятью больше именно стрессовое.