קונרד נולד בשם יוזף תיאודור קונרד קוז'ניובסקי בעיר ברדיצ'ב, אז בפולין שבשליטה רוסית, וכיום באוקראינה. אביו היה אציל פולני, סופר ומתרגם מאנגלית ומצרפתית, כך שקונרד נחשף לספרות מגיל צעיר. האב נעצר על ידי השלטונות הרוסים על תמיכתו בהתקוממות בשנת 1863 וגורש לסיביר. אמו מתה משחפת ב-1865, וארבע שנים אחר כך מת אביו בקרקוב.