En 1935, Ho entama une carrière diplomatique sous l'égide du ministère des Affaires étrangères de la république de Chine. Sa première affectation fut en Turquie puis, en raison de sa maîtrise de la langue allemande, il fut nommé premier secrétaire de la légation chinoise à Vienne en 1937. Quand l'Autriche fut annexée par l'Allemagne nazie en 1938 et que la légation devint consulat, il occupa le poste de consul général.