Han ble født i Genève i Sveits. Faren, Adam-Wolfgang Töpffer, var en profesjonell maler og drev tidvis på med karikaturer. Faren ble hovedsakelig kjent som for Joséphine de Beauharnais ved den franske tronen mellom 1804 og 1807.