Som følge av en fallulykke som spedbarn hadde Fredrik en skjevvokst skulder. Han ble derfor iblant på folkemunne kalt . Han var også sykelig som spedbarn, i motsetning til den storvokste eldre broren Karl Emil. Etter morens død i 1667 kom brødrene hovedsakelig til å bli oppfostret i Otto von Schwerins hushold, på dennes slott i Altlandsberg, og opplært i krigskunst.