Børretzen ble født i Nordfjord, men flyttet til Bergen som barn fordi hans far fikk arbeid i byen. Her gikk Børretzen på fattigskole, men det viste seg at han hadde gode evner, og ble derfor hjulpet inn på latinskolen av sognepresten ved Korskirken, senere biskop Johan Nordahl Brun. I 1783 tok Børretzen eksamen derfra, og i 1787 ble han teologisk kandidat og deretter lærer ved fattigskolen Christi Krybbe.