Raije stamde uit een koopmansfamilie die na de Val van Antwerpen (1585) naar Amsterdam was getrokken. Zijn grootvader had in 1660 de ambachtsheerlijkheid Breukelerwaard bij Maarssen gekocht. Zijn vader was een welgestelde suikerraffinadeur in Amsterdam. Zijn moeder was afkomstig uit een zijtak van een van de voornaamste Amsterdamse regentenfamilies, de Bickers. Met name haar connecties zullen behulpzaam zijn geweest voor de carrière van hun kinderen, het is dan ook niet voor niets dat Raije zich in zijn volwassen leven ook haar achternaam aanmeet. Op zijn negentiende begint hij zijn levenslange loopbaan als ambtenaar, eerst als ontvanger van de verbruiksbelasting op turf en kolen, vanaf 1729 als boekhouder van het korenboek en vanaf 1736 als kapitein van de schutterij in de Amsterdamse burgerwacht en als afslager op de grote vismarkt op de Dam. Dat laatste nam hij over van zijn oudere broer en zou hij blijven doen tot het einde van zijn leven, hoewel zoals gebruikelijk in die dagen het eigenlijke werk werd gedaan door een plaatsvervanger.