在北京大学期间，胡济邦学会了日语、拉丁语、世界语。胡济邦一生先后掌握了英语、法语、俄语、日语、匈牙利语、拉丁语等语言。
任职国民政府.1933年春，经在国民政府兵工署预算处当会计的四哥胡济时介绍，胡济邦任兵工署署长俞大维的儿子的英语家庭教师。胡济邦外形俊美，善长交际，很受俞大维全家上下喜爱。俞大维对胡济邦从不怀疑，还曾主动与胡济邦谈论中国国民党内幕消息。1933年7月，俞大维上庐山参加蒋介石为制定第五次围剿中央苏区红军行动方案而召开的军事会议后，回到南京家中对胡济邦说：“蒋委员长在