Tromp był synem oficera holenderskiego liniowca; matka prała marynarskie koszule, by uzupełnić skromny domowy budżet. W wieku 9 lat, Tromp razem ze swym ojcem po raz pierwszy wypłynął w morze i był obecny podczas bitwy pod Gibraltarem. Trzy lata później żeglowali razem do Afryki na statku handlowym, gdy zostali zaatakowani przez angielskich piratów. W czasie walki zginął ojciec Trompa. Według legendy 12-letni chłopiec zebrał załogę statku z okrzykiem "Czy nie chciałbyś pomścić śmierci mego ojca?". W rzeczywistości piraci pojmali go i zmusili do służby w roli chłopca kajutowego (ang. "cabin boy") przez następne sześć lat. Gdy został uwolniony, wsparł swą matkę i trzy siostry pracując w stoczni w Rotterdamie, a w morze wypłynął ponownie w wieku 19 lat, a 3 lata później znów został pojmany – tym razem przez korsarzy berberyjskich z Tunisu. Trzymany był jako niewolnik do 24. roku życia, kiedy zrobił wrażenie na beju Tunisu swoimi umiejętnościami w obsłudze artylerii i nawigacji. Ponownie odzyskał wolność. W 1621 jako porucznik wstąpił do holenderskiej marynarki wojennej. Jego pierwszym wyróżnieniem było stanowisko kapitana okrętu flagowego Pieta Heyna podczas walki z piratami z Ostendy w 1629, podczas których zginął Heyn. Od tego czasu jego okręt nazywał się "Vliegende Groene Draeck".