קרול נולד בזיגמרינגן שבדרום-מערב גרמניה כנסיך קרל אייטל פרידריך. אביו היה הנסיך קרל אנטון, לימים ראש ממשלת פרוסיה ונסיך בית הוהנצולרן-זיגמרינגן, ואמו הייתה יוזפינה, נסיכת באדן, בתם של קרל, הדוכס הגדול של באדן וסטפני דה בוארנה. לאחר סיום בית הספר היסודי נרשם קרול לבית הספר לקדטים של מינסטר וב-1857 סיים את הקורסים של בית הספר הברלינאי לתותחנות. עד לבחירתו לשליט הנסיכויות הרומניות, היה קרול קצין גרמני והשתתף במלחמת שלזוויג השנייה ובמיוחד רכש ניסיון בהסתערות וכיבוש מצודות ביוטלנד, ניסיון ששימש אותו מאוחר יותר במלחמת הרומנים בטורקים.