Landau ble født 22. januar 1908 i Baku i det som da var det russiske keiserdømmet. Faren jobbet som petroleumsingeniør og moren var lege som også jobbet med forskning. Begge foreldrene hans var jøder. Landau var tidlig anerkjent som et «vidunderbarn» innenfor matematikk, og Landau avsluttet sine skolefag som 13-åring. Allerede da var han tiltrukket av de eksakte vitenskapene. Han studerte matematisk analyse på egen hånd, siden foreldrene hans syntes at han var for ung for å gå på universitetet. Han pleide senere å si at han knapt kunne minnes en tid han ikke kunne derivere og integrere.