第二合衆国銀行
1805年、キャドワレイダーはペンシルベニア州フィラデルフィアにおいて、トマス・キャドワレイダー (Thomas Cadwalader, 1779-1841) とメアリー・ビドル (Mary Biddle, 1781-1850) の長子として誕生した。キャドワレイダーは1821年にペンシルベニア大学を卒業し、1825年に弁護士として認可を受けた。キャドワレイダーは1830年に第二合衆国銀行の法務弁護士となった。