Hermann giftet seg med skuespillerinnen Mariska Hargitay 28. august 2004 i Santa Barbara i California. De hadde møttes da han fikk rollen i , der hun spilte rollen som kriminalbetjent Olivia Benson. Den 28. juni 2006 ble sønnen deres, August Miklos Friedrich Hermann, født ved keisersnitt. I april 2011 adopterte Hermann og hans kone Amaya Josephine, og var tilstede da hun ble født. I oktober samme året adopterte de Andrew Nicolas Hargitay Hermann, som hadde blitt født i midten av 2011.