Otto Joachim Løvenskiold var sønn av godseier Severin Løvenskiold på Fossum og Sophie Hedevig Knuth. Han ble 18. september 1837 gift i Sem i Jarlsberg med Julie Caroline Helene Wedel Jarlsberg. Hans første hustru døde 1. januar 1840 etter å ha født en sønn, og i 1845 ble Løvenskiold gift i Fredrikshald med Eleonore Mansbach. En sønn fra første ekteskap var statsminister Carl Otto Løvenskiold.