Han giftet seg igjen, denne gang med Hui-Lan «Juliana» Oei, som var datter av den javanesisk-kinesiske sukkermagnaten Oei Tiong-ham. Med henne fikk han sønnen Teh-chang Koo og datteren Patricia Koo samt tre stebarn. Han ble separert fra henne i 1950-årene. Han var gift med i alt fire kvinner – den siste, Juliana Koo, ble 111 år gammel.