Lazarev se je rodil v Vladimirju kot potomec starega ruskega plemstva. Pri 12 letih se je vpisal na Mornariško vseučilišče, tri leta pozneje pa je bil poslal v Kraljevo vojno mornarico, kjer se je udeležil petletne neprekinjene plovbe. Med letoma 1808 in 1813 je služil na Baltski floti in se udeležil Finske vojne in Domovinske vojne.