Wirgman was the eldest son of Ferdinand Charles Wirgman (1806–57) and brother of Theodore Blake Wirgman.
Wirgman adalah putra sulung dari Ferdinand Charles Wirgman (1806-57) dan saudara dari Theodore Blake Wirgman.