Джон Малькольм был шотландцем, родился в Бёрнфуте, графство Дамфрис. В 1782 году поступил на службу в Британскую Ост-Индскую компанию и отправился в Мадрас. Там он активно изучал восточные языки, проявил себя в 1792 году при осаде Серингпатама в ходе третьей англо-майсурской войны и был отправлен лордом Корнуоллисом в качестве переводчика к войскам, размещённым при дворе туземного князя. В 1795 году он на короткое время совершил визит на родину по причине плохого здоровья, а затем принял участие в экспедиции генерала Кларка к мысу Доброй Надежды, за что получил благодарность от Мадрасского правительства и был назначен секретарём при главнокомандующем. В 1797 году был произведён в капитаны, в 1799 году хорошо проявил себя во время осады Серингпатама во время четвёртой англо-майсурской войны, после которой стал одним из людей, создавших новое правительство Майсура.