Fue el mayor de los 12 hijos de Ferdinand Charles Wirgman y Frances Laetitia Diggins, familia aristócrata inglesa de origen sueco, descendientes de la Noble Casa Virgander perteneciente a la Dinastía Vasa.