Otto Zardetti var sønn av Eugen og Annette Anna ( von Bayer) Zardetti, en familie av øvre middelklasse som handlet med lerret og kolonivarer. Hans fars forfedre, medlemmer av den italienske lavadel, hadde flyttet til Sveits fra Bagno i kongedømmet Sardinia på slutten av 1700-tallet, hvor faren giftet seg inn i den aristokratiske von Bayer-familien. Broren hans var den kjente kunstneren, fotografen og bilpioneren Eugen Zardetti.