El periódico francés "Le Monde" publicó en 1974 que Rauff estaría trabajando en los servicios secretos del régimen del general Augusto Pinochet, y que habría estado involucrado en torturas y asesinatos de opositores de la dictadura. A su vez, un informe de la CIA lo insinúa también al decir que Rauff habría trabajado en el Ministerio del Interior de Chile. Por último, los colonos Franz Bäar y su esposa Ingrid Szurgelies aseguran que era un asiduo visitante de Colonia Dignidad. Pinochet también adujo que Rauff no podía ser extraditado debido al rechazo de la Corte Suprema en 1963. Según el portal "Memoria Viva", «torturó en Punta Arenas, Estadio Nacional y Colonia Dignidad. Supervigiló y confeccionó el campo de concentración Río Chico en Isla Dawson».En los archivos desclasificados de Colonia Dignidad existen ocho fichas sobre él y otros nazis que habrían estado a cargo de un grupo paramilitar que habría operado en Concepción después del golpe de Estado del 11 de septiembre de 1973, según las mismas fichas.