Colin McKay, 34, befanns skyldig till att ha attackerat kvinnan två gånger, våldtagit en 15-årig flicka och oanständigt attackerat en annan kvinna i West Lothian.
McKay hade förnekat brotten men befanns skyldig efter en tidigare rättegång vid High Court i Edinburgh.
Domare Wolffe dömde honom och sa att han hade utnyttjat "sårbara kvinnor".
Hon beordrade att han skulle hållas under uppsikt i ytterligare två år och föras in i registret över sexualförbrytare.
McKay befanns skyldig till att ha våldtagit modern vid två tillfällen i sitt hem sommaren 2005 och våldtagit tonårsflickan samma år i ett hus i West Lothian.
Rätten hörde att han dök upp vid första offrets dörr och attackerade henne efter att ha tagit bort barnet från hennes armar.
Han dömdes också för att ha utfört det oanständiga angreppet på det tredje offret i ett hus i Armadale 2011.
Domaren sade att fallet avslöjade att han var "en rovlysten sexualförbrytare som jagade utsatta kvinnor när tillfället uppstod".
Lady Wolffe sa: "Du har dömts för ett antal våldtäkter mot kvinnor som var utsatta på grund av sin ålder eller sina omständigheter."
Hon berättade för McKay att han hade bedömts utgöra en hög risk för ytterligare våldsbrott.
Hon tillade: "Du är noterad som anta en position av extrem förnekelse och skylla dina offer."
Försvarsadvokat Ian Duguid QC sade: "Hans bevis var att kategoriskt förneka att någon av dessa anklagelser ägde rum."
Men försvarsadvokaten erkände att ett fängelsestraff var "inbjudet" efter hans fällande dom för brotten.
Duguid sade att förhandlingarna hade varit en "kramande" erfarenhet för McKay och tillade: "Han kommer sannolikt inte att vara involverad i någon form av denna verksamhet i framtiden."
En man som våldtog en mor några ögonblick efter att ha tagit sitt barn från hennes armar har suttit i fängelse i åtta år.