Like etter sin kones død innledet Richter et hemmelig forhold til den langt yngre Ebba Astrup (1863–1944), datter av grosserer Hans Rasmus Astrup. De hadde kjent hverandre i noen år, og hun hjalp ham i stor grad gjennom sorgen etter tapet av sin kone. Richter og Astrup ble etterhvert hemmelig forlovet, og det sies at Astrup var Richters store kjærlighet. Deres hemmelige forhold skapte ham imidlertid hodebry, da hun var ung og av god familie, mens han var en eldre mann med dalende karrière.