Han hadde en svært levende erindring av arrestasjonen. Spesielt husket han Otto og Anne Frank. Da han spurte Otto Frank hvor lenge de hadde gjemt seg svarte Frank «to år og en måned». Silberbauer var skeptisk inntil Otto stilte Anne Frank inntil merkene på veggen som viste hennes høyde siden de hadde flyttet inn i annekset. Silberbauer sa at hun «så ut som på bildene i bøkene, men litt eldre, og vakrere». «'De har en skjønn datter' sa jeg til hr. Frank».