V čase, keď hrozilo vypuknutie krymskej vojny (1853 - 1856), sa Albert prejavil ako pacifista a odporca vojen, za čo ihneď nasledoval útok zo strany tlače. Medzi ľuďmi sa dokonca šírili povesti o tom, že má byť zatknutý pre vlastizradu. Nič také sa nestalo, ale trest napriek tomu prišiel, lebo bol vylúčený z ministerskej rady a stratil všetok priamy vplyv na politickú situáciu. Zrejme pre útechu mu bol ale udelený titul "Princ manžel," o čo kráľovná Viktória už dlho usilovala. Ďalšia kríza v živote princa Alberta prišla vo chvíli, keď sa jeho najmilovanejšia dcéra Viktória mala vydať za Fridricha Pruského, čo bol synovec pruského kráľa Fridricha Viliama IV. Obaja rodičia boli týmto sobášom nadšení, rovnako ako obaja snúbenci, ale tlač, podporovaná verejnosťou, prejavila zase nesúhlas a ostro sa postavila proti vydaniu princezej do vtedy ešte nie príliš významného Pruska. Vlna odporu sa zdvihla aj v rodnej krajine ženícha a diplomati mali plno práce s upokojením situácie. V nemeckom Prusku bola anglická princezná považovaná za cudzinku, a to aj napriek tomu, že obaja jej rodičia, teda princ Albert aj kráľovná Viktória, pochádzali z nemeckých rodov. Svadba Fridricha Pruského a princeznej Viktórie sa uskutočnila 25. januára 1858. Krátko predtým sa 14. apríla 1857 narodila ich najmladšia dcéra princezná Beatrice. Veľké starosti robil v tej dobe Albertovi osud ich ďalšieho dieťaťa, vtedy už dospievajúceho následníka trónu, princa Edwarda. Ten sa príliš nevenoval štúdiu a oveľa viac ho zaujímala móda, krásne ženy a veselá spoločnosť.