Raimond IV av Toulouse var gift tre ganger og ble bannlyst to ganger for forbudte grader av blodskam. Hans første kone var hans kusine og mor til hans sønn Bertrand. Hans andre kone var Matilda (Mafalda), datter av kong Roger I av Sicilia. Raimonds tredje kone var Elvira, den illegitime datter av kong Alfonso VI av Castilla, den spanske kongen som kjempet innbitt mot maurerne.