In der NBA-Draft 2003 blieb Penigar unberücksichtigt, konnte sich aber für einen Platz im D-League-Team "Asheville Altitude" empfehlen. Im Februar 2004 wurde er für zwei sogenannte Zehn-Tages-Verträge in das NBA-Team Orlando Magic gerufen, für das er zehn Spiele absolvierte. Anschließend kehrte er in das Team der Altitude zurück und wurde am Ende der NBDL-Spielzeit 2003/04 zum "Rookie of the Year" dieser Liga ernannt. Zudem wurde er zweimal zum „player of the month“ () sowie in das „All-NBDL-First Team“ der Spielzeit berufen und war am Ende der Spielzeit Topscorer der gesamten Liga. Während des Finalspiels, dass seine Mannschaft nach einem klaren Halbzeitrückstand in der Verlängerung mit 108:106 gewann und Meister wurde, verletzte sich Penigar am Ellbogen, weshalb er in der Verlängerung nicht mehr mitwirken konnte. In der Sommerpause absolvierte er noch einzelne Preseason-Spiele im Trikot der Denver Nuggets, bekam aber keinen Vertrag für die darauffolgende Spielzeit.