Richard With tok styrmannskolen og var i utenriksfart, før han gjennom firmaet «With & Kiil» på Andenes i 1875 overtok handelsstedet Risøyhamn på Andøya. Allerede året etter gikk stedet konkurs, men han kom seg på bena igjen.