Han var sønn av viseadmiral Johan Cornelius Krieger og valgte tidlig sjøen. Allerede syv år gammel gjorde han sitt første tokt som frivillg. Han ble kadett i 1767, ble samme år med fregatten «Havfruen» til Middelhavet. Han deltok i admiral Frederik Christian Kaas' uheldige tokt til Algier 1770 om bord i linjeskipet «Sophie Magdalene» kommandert av hans far.