Han ble født inn i embedsmannsslekten Hirsch som sønn av major Jacob (Jobst) Conrad von Hirsch og hustru Marie Henrici på gården By i Stjørdal, som faren hadde kjøpt i 1786. Morfaren var stadsfysikus i Trondhjem, Robertus Stephanus Henrici. Robertus Hirsch giftet seg i 1812 med Nicoline Hornemann, datter av generalmajor Johan Thomas Hornemann på Reppe i Lånke. Blant deres barn var apoteker Robert Nicolai Hirsch, sogneprest og ordfører Thomas Conrad Hirsch, lege Christian Hornemann Hirsch og dommer, banksjef og ordfører Christian Hirsch.