Schweigaard ble født den 14. oktober 1838 i Christiania, som sønn av Anton Martin Schweigaard og Caroline Magnine Homan. Han var dermed nevø av Peder Jacob Homan og Henrik Homan. Han ble gift den 23. mai 1867 med Thea Meyer, datter av Thorvald Meyer, og ble svoger til Axel Heiberg, svigerfar til Fredrik Stang samt morfar til Erling Christophersen og Christian Schweigaard Stang.