В договоре окромя оплаты еще и указываются сроки работ, и никаких авансов платить не надо, только оплачивать все материалы.Сейчас вам надо разрывать договор, пока вы немного потеряли. Если прораб "опомнится" и захочет продолжать работы, то можно дать второй шанс, НО перезаключить договор, в котором вы проставите сроки.