Rassam giftet seg med den engelske Anne Eliza Price og de fikk syv barn. Hans eldste datter, Theresa Rassam (født 1871) ble profesjonell sangerinne. Hun sang i D'Oyly Carte Opera Company.