Происходил из «поповских детей», родился в 1731 году (в некоторых источниках — в 1734-м). На военной службе с 1753 года, долгое время проходил службу на унтер-офицерских должностях, «грамоте читать и писать умел, а протчих наук не знал», «в штрафах и под судом не бывал». Участник Семилетней войны, участвовал в сражениях под Цорндорфом, Пальцигом, Кунерсдорфом, за отличия получил первое обер-офицерское звание — произведён в корнеты, затем в адъютанты 3-го кирасирского полка. В формулярном списке по итогам кампании было отмечено, что Харлов «в должности звания своего прилежен, от службы не отбывает, подкомандных своих содержит и военной экзерциции обучает и к сему тщание имеет; лености ради больным не рапортовался, и во всем себя ведет так, как надлежит исправному офицеру; и как по чину своему опрятен, так и никаких от него непорядков не происходит, …для чего по усердной его службе к повышению чина достоин в кирасирские полки».