Vu Cao Dam est né le à Hanoï, fils de Vu Dinh Thi et Pham Thi Cuc. Il était le d'une grande famille catholique de . Sa famille venait du district de Trinh Xuyen (aujourd'hui Lien Bai) de Vu Ban, province de Nam Dinh. Son père Vu Dinh Thi (1864-1930) est né dans une famille convertie au catholicisme depuis le . La situation familiale étant satisfaisante, le père de Vu Cao Dam est allé à l'école dès le jeune âge et est devenu compétent en calligraphie chinoise. Il a également étudié le latin, le français et l'espagnol, mais avait une véritable vénération pour Confucius et un grand amour et une grande connaissance de la littérature chinoise. À l'époque, il était l'un des rares Vietnamiens à maîtriser parfaitement la langue française et pour cette raison, il a été envoyé à Paris par le gouvernement à l'occasion de l'Exposition universelle de 1889. À , il épouse Pham Thi Cuc (1877-1931) alors âgée de , également catholique. Il a fondé et dirigé toute sa vie l'école des interprètes de Hanoï pour former les mandarins du régime colonial.