V průběhu debaty o dělbě moci mezi zákonodárnou a výkonnou mocí delegáti Filadelfského ústavního konventu v roce 1787 vytvořili také parametry pro soudní moc. Vytvoření této „třetí větve“ státní moci bylo novým nápadem, v anglické tradici byly totiž soudní záležitosti považovány za doménu královské (výkonné) moci. Delegáti, kteří byli proti silné ústřední vládě, zpočátku tvrdili, že federální zákony mohou být vymáhány soudy jednotlivých států, zatímco jiní, včetně Jamese Madisona, obhajovali federální soudní orgán skládající se z různých tribunálů určených celostátním zákonodárcem. Rovněž bylo navrženo, že soudnictví by mělo hrát určitou roli při kontrole pravomoci výkonné moci vetovat nebo revidovat zákony. Delegáti nakonec dospěli ke kompromisu tím, že načrtli pouze obecné rysy soudní moci a federální soudní moc svěřili „jednomu nejvyššímu soudu a takovým nižším soudům, které Kongres může čas od času určit a vytvořit“. Nedefinovali ani přesné pravomoci a výsady Nejvyššího soudu, natož organizaci soudní moci jako celku.