Hijo de Josep de Togores i Muntades, presidente de la Asociación de Clubs de Fútbol de Barcelona y cofundador del diario El Mundo Deportivo, a los 13 años Togores sufre una meningitis y se queda sordo, lo que le lleva a interesarse por la pintura.