Breilid var født og oppvokst på Gjøvik, som sønn av sparebankkasserer og fru . I 1879 kjøpte Petter Olsen garden Breili i Nordlia, nord i Østre Toten. Det ble Ludvik som skulle ta over og drive garden, men i forbindelse med landbruksutdanning på Haug i Vardal måtte han amputere beinet, noe som sjølsagt vanskeliggjorde gardsarbeidet. Men med en del innleid arbeidshjelp klarte han lenge å drive Breili sjøl. Breilid var gift med , datter av en annen kommunepolitiker, Ole Christian Haug. Disse hadde ingen barn.