如此，理查还将亨利从伯爵升为赫里福德公爵。1390年全年，亨利都在率领他的300名骑士参加条顿骑士团对维尔纽斯（立陶宛大公国的首都）的一次不成功的围攻。在这次远征中，他购买了300名被俘虏的立陶宛贵族，并把他们带回英格兰。1392年，亨利再次加入条顿骑士团的北方十字军征服古普鲁士人，第二次远征立陶宛，这一次他雇佣了一些十字军骑士。他的军队超过了100人，其中包括一些长弓手，还有六名吟游诗人，兰开斯特总共为此花费了4,360英镑。尽管亨利和他的十字军战士努力奋战，但对维尔纽斯的长达两年的围攻依然以失败告终