Falbe var sønn av Johan Christian Falbe og hans morfar var Hans Hagerup de Gyldenpalm. Dessuten var han svoger av Christian Colbjørnsen.