是尉迟俟兜、昌乐大长公主所生之子。六岁丧父，和兄长尉迟迥依附舅舅宇文泰。宇文泰入关中时，尉迟迥、尉迟纲和母亲在晋阳，后入关中。跟随宇文泰征战，常陪侍帷幄，出入寝所。534年，以迎接魏孝武帝之功，任殿中将军。535年，任帐内都督，在仪同李虎属下讨曹泥，再破窦泰。以功封广宗县伯。夺取弘农，在河北郡胜利，沙苑之战立功。538年，河桥之战，宇文泰乘马中流矢而逃，尉迟纲和李穆奋战，拦下宇文泰的战马，救回宇文泰。因为前后战功，进爵为公，任平远将军、步兵校尉。542年，加通直散骑常侍、太子武卫率、前将军，转任帅都督。东魏