Han var gift med Christiane Sophie Hielm (1861–1904), datter av ordfører i Trondheim Christian Hulbert Hielm og Louise Johanne Margrethe Hoelfeldt Paus; svigermoren var datter til Henrik Johan Paus og dermed kusine til Henrik Ibsen. Nils P. Høyer kjøpte Søndre Brekke i 1890 fra ektefellens fetter og kusine på morssiden. De var foreldre til bl.a. Louise Johanne Margrethe Høyer (1885–1970), gift med overrettssakfører Christopher Blom (1870–1909), til skipsreder, skipsmegler og spansk visekonsul Hans Thomas Houen Høyer (1887–1968), ingeniør Andreas Fredrik Høyer (1888–1930), skipsmegler og svensk visekonsul Christian Hulbert Hielm Høyer (1893–1966) og skipsmegler Nils Peter Gotfred Høyer (1900–1974).