桂芳在幼时即随家人同国民政府前往台湾；随后，她与家人长年定居于苗栗，她也因此学得当地客家话。此外，耿桂芳有一位胞弟耿继文在日后成为一位警官，并在任职于花莲县政府警察局协助侦办五子命案时声名大噪，又在稍后当上中华民国内政部警政署督察室主任。后来，耿桂芳毕业于国立政治大学外交学系及外交研究所，又毕业于乔治城大学语言学研究所。此后，耿桂芳当选并任职台北市议会第8至12届议员，也担任过中国国民党中央委员会委员、中国国民党中央常务委员，并兼任讲师于国立政治大学、淡江大学、国立台北商业技术学院，又服务于台北基督