user-0 提问: [请教]：TCP/IP 在进行大文件传输的时候出现的问题！

回复:
user: user-1
content: 楼主 解释解释 为什么会出现黏包问题了呢

user: user-2
content: 好淫一生平安

user: user-2
content: 引用 19 楼 su_787910081 的回复:[quote=引用 13 楼 u013934621 的回复:]  mark 我也遇到过。 未解决  呵呵，20天了，终于解决了。 原来是因为一个叫TCP粘包的问题，不过如果是单单传输文件的TCP倒是没什么问题的，不用管粘包都可以的。 不过我还是通过网上的资料把粘包的问题给处理了。呵呵。 [/quote] thanks.我也去查查

user: user-0
content: 引用 13 楼 u013934621 的回复: mark 我也遇到过。 未解决  呵呵，20天了，终于解决了。 原来是因为一个叫TCP粘包的问题，不过如果是单单传输文件的TCP倒是没什么问题的，不用管粘包都可以的。 不过我还是通过网上的资料把粘包的问题给处理了。呵呵。

user: user-3
content: 后面两段代码中的注释和使用说明已经很清楚了.意思是让你参考多线程收发数据和大文件分段的功能怎么实现的.

user: user-3
content: #include <sys\stat.h> #include <io.h> #include <fcntl.h> #include <share.h> #include <stdlib.h> #include <stdio.h> #include <conio.h> #include <string.h> #define MAX_CLU_BYTES 65536 FILE *fo; int fh; __int64 offs,offs1; __int64 rvi64; int rv,wrv; unsigned char buf[MAX_CLU_BYTES]; char ofn[_MAX_PATH]; char offstr[80]; void strcpybutcomma(char *t,char *s) {     char c;      while (1) {         c = *s++;         if (','!=c) *t++ = c;         if (0==c) break;     } } void main(int argc,char **argv) {     if (argc<3) {         printf("Copy File Tail.\n");         printf("Usage:\n");         printf("    cft filename.ext offset_begin[-offset_end]\n");         printf("Copy filename.ext offset_begin[-offset_end] to offset_begin[-offset_end]-filename.ext\n");         printf("Note: Byte at offset_end is NOT included.\n");         printf("Example:\n");         printf("    cft abc.rar 12345\n");         printf("Copy abc.rar offset 12345-end to 12345-abc.rar\n");         printf("    cft abc.rar 123-12345\n");         printf("Copy abc.rar offset 123-12345 to 123-12345-abc.rar\n");         printf("    cft abc.rar 0xAB-0xCD\n");         printf("Copy abc.rar offset 0xAB-0xCD to 0xAB-0xCD-abc.rar\n");         return;     }     strcpybutcomma(offstr,argv[2]);     rv=sscanf(offstr,"%I64i-%I64i",&offs,&offs1);     if (rv==0) {         printf("offset %s is not number\n",argv[2]);         return;     }     fh=_sopen(argv[1],_O_BINARY|_O_RDONLY|_O_RANDOM,_SH_DENYNO);     if (fh==-1) {         printf("_sopen %s errno=%d\n",argv[1],errno);         return;     }     if (rv==1) {         offs1=_filelengthi64(fh);         if (offs1==-1i64) {             printf("%I64=_filelengthi64 errno=%d\n",offs1,errno);             _close(fh);             return;         }     } else {//rv==2         if (offs1<offs) {             printf("%s offset_begin>offset_end error\n",argv[2]);             _close(fh);             return;         }     }     rvi64=_lseeki64(fh,offs,SEEK_SET);     if (rvi64!=offs) {         printf("%I64u=_lseeki64 %I64u errno=%d\n",rvi64,offs,errno);         _close(fh);         return;     }     sprintf(ofn,"%s-",offstr);     strcat(ofn,argv[1]);     fo=fopen(ofn,"wb");     if (fo==NULL) {         _close(fh);         printf("fopen %s error\n",ofn);         return;     }     cprintf("\n%I64u\r",offs);     while (1) {         rv=_read(fh,buf,(unsigned int)__min(offs1-offs,MAX_CLU_BYTES));         if (rv==0) break;//         if (rv<0) {             fclose(fo);             _close(fh);             printf("_read %s offset %I64u error\n",argv[1],offs);             return;         }         wrv=fwrite(buf,1,rv,fo);         if (wrv!=rv) {             fclose(fo);             _close(fh);             printf("fwrite %s error\n",ofn);             return;         } else {             offs+=rv;             cprintf("%I64u\r",offs);             if (offs>=offs1) break;//         }     }     fclose(fo);     _close(fh);     printf("Copy %s offset %s to %s OK.\n",argv[1],argv[2],ofn); }

user: user-3
content: //循环向a函数每次发送200个字节长度（这个是固定的）的buffer, //a函数中需要将循环传进来的buffer，组成240字节（也是固定的）的新buffer进行处理， //在处理的时候每次从新buffer中取两个字节打印 #ifdef WIN32     #pragma warning(disable:4996) #endif #include <stdio.h> #include <stdlib.h> #include <string.h> #ifdef WIN32     #include <windows.h>     #include <process.h>     #include <io.h>     #define  MYVOID             void     #define  vsnprintf          _vsnprintf #else     #include <unistd.h>     #include <sys/time.h>     #include <pthread.h>     #define  CRITICAL_SECTION   pthread_mutex_t     #define  MYVOID             void * #endif //Log{ #define MAXLOGSIZE 20000000 #define MAXLINSIZE 16000 #include <time.h> #include <sys/timeb.h> #include <stdarg.h> char logfilename1[]="MyLog1.log"; char logfilename2[]="MyLog2.log"; static char logstr[MAXLINSIZE+1]; char datestr[16]; char timestr[16]; char mss[4]; CRITICAL_SECTION cs_log; FILE *flog; #ifdef WIN32 void Lock(CRITICAL_SECTION *l) {     EnterCriticalSection(l); } void Unlock(CRITICAL_SECTION *l) {     LeaveCriticalSection(l); } void sleep_ms(int ms) {     Sleep(ms); } #else void Lock(CRITICAL_SECTION *l) {     pthread_mutex_lock(l); } void Unlock(CRITICAL_SECTION *l) {     pthread_mutex_unlock(l); } void sleep_ms(int ms) {     usleep(ms*1000); } #endif void LogV(const char *pszFmt,va_list argp) {     struct tm *now;     struct timeb tb;      if (NULL==pszFmt||0==pszFmt[0]) return;     vsnprintf(logstr,MAXLINSIZE,pszFmt,argp);     ftime(&tb);     now=localtime(&tb.time);     sprintf(datestr,"%04d-%02d-%02d",now->tm_year+1900,now->tm_mon+1,now->tm_mday);     sprintf(timestr,"%02d:%02d:%02d",now->tm_hour     ,now->tm_min  ,now->tm_sec );     sprintf(mss,"%03d",tb.millitm);     printf("%s %s.%s %s",datestr,timestr,mss,logstr);     flog=fopen(logfilename1,"a");     if (NULL!=flog) {         fprintf(flog,"%s %s.%s %s",datestr,timestr,mss,logstr);         if (ftell(flog)>MAXLOGSIZE) {             fclose(flog);             if (rename(logfilename1,logfilename2)) {                 remove(logfilename2);                 rename(logfilename1,logfilename2);             }         } else {             fclose(flog);         }     } } void Log(const char *pszFmt,...) {     va_list argp;      Lock(&cs_log);     va_start(argp,pszFmt);     LogV(pszFmt,argp);     va_end(argp);     Unlock(&cs_log); } //Log} #define ASIZE    200 #define BSIZE    240 #define CSIZE      2 char Abuf[ASIZE]; char Cbuf[CSIZE]; CRITICAL_SECTION cs_HEX ; CRITICAL_SECTION cs_BBB ; struct FIFO_BUFFER {     int  head;     int  tail;     int  size;     char data[BSIZE]; } BBB; int No_Loop=0; void HexDump(int cn,char *buf,int len) {     int i,j,k;     char binstr[80];      Lock(&cs_HEX);     for (i=0;i<len;i++) {         if (0==(i%16)) {             sprintf(binstr,"%03d %04x -",cn,i);             sprintf(binstr,"%s %02x",binstr,(unsigned char)buf[i]);         } else if (15==(i%16)) {             sprintf(binstr,"%s %02x",binstr,(unsigned char)buf[i]);             sprintf(binstr,"%s  ",binstr);             for (j=i-15;j<=i;j++) {                 sprintf(binstr,"%s%c",binstr,('!'<buf[j]&&buf[j]<='~')?buf[j]:'.');             }             Log("%s\n",binstr);         } else {             sprintf(binstr,"%s %02x",binstr,(unsigned char)buf[i]);         }     }     if (0!=(i%16)) {         k=16-(i%16);         for (j=0;j<k;j++) {             sprintf(binstr,"%s   ",binstr);         }         sprintf(binstr,"%s  ",binstr);         k=16-k;         for (j=i-k;j<i;j++) {             sprintf(binstr,"%s%c",binstr,('!'<buf[j]&&buf[j]<='~')?buf[j]:'.');         }         Log("%s\n",binstr);     }     Unlock(&cs_HEX); } int GetFromRBuf(int cn,CRITICAL_SECTION *cs,FIFO_BUFFER *fbuf,char *buf,int len) {     int lent,len1,len2;      lent=0;     Lock(cs);     if (fbuf->size>=len) {         lent=len;         if (fbuf->head+lent>BSIZE) {             len1=BSIZE-fbuf->head;             memcpy(buf     ,fbuf->data+fbuf->head,len1);             len2=lent-len1;             memcpy(buf+len1,fbuf->data           ,len2);             fbuf->head=len2;         } else {             memcpy(buf     ,fbuf->data+fbuf->head,lent);             fbuf->head+=lent;         }         fbuf->size-=lent;     }     Unlock(cs);     return lent; } MYVOID thdB(void *pcn) {     char        *recv_buf;     int          recv_nbytes;     int          cn;     int          wc;     int          pb;      cn=(int)pcn;     Log("%03d thdB              thread begin...\n",cn);     while (1) {         sleep_ms(10);         recv_buf=(char *)Cbuf;         recv_nbytes=CSIZE;         wc=0;         while (1) {             pb=GetFromRBuf(cn,&cs_BBB,&BBB,recv_buf,recv_nbytes);             if (pb) {                 Log("%03d recv %d bytes\n",cn,pb);                 HexDump(cn,recv_buf,pb);                 sleep_ms(1);             } else {                 sleep_ms(1000);             }             if (No_Loop) break;//             wc++;             if (wc>3600) Log("%03d %d==wc>3600!\n",cn,wc);         }         if (No_Loop) break;//     } #ifndef WIN32     pthread_exit(NULL); #endif } int PutToRBuf(int cn,CRITICAL_SECTION *cs,FIFO_BUFFER *fbuf,char *buf,int len) {     int lent,len1,len2;      Lock(cs);     lent=len;     if (fbuf->size+lent>BSIZE) {         lent=BSIZE-fbuf->size;     }     if (fbuf->tail+lent>BSIZE) {         len1=BSIZE-fbuf->tail;         memcpy(fbuf->data+fbuf->tail,buf     ,len1);         len2=lent-len1;         memcpy(fbuf->data           ,buf+len1,len2);         fbuf->tail=len2;     } else {         memcpy(fbuf->data+fbuf->tail,buf     ,lent);         fbuf->tail+=lent;     }     fbuf->size+=lent;     Unlock(cs);     return lent; } MYVOID thdA(void *pcn) {     char        *send_buf;     int          send_nbytes;     int          cn;     int          wc;     int           a;     int          pa;      cn=(int)pcn;     Log("%03d thdA              thread begin...\n",cn);     a=0;     while (1) {         sleep_ms(100);         memset(Abuf,a,ASIZE);         a=(a+1)%256;         if (16==a) {No_Loop=1;break;}//去掉这句可以让程序一直循环直到按Ctrl+C或Ctrl+Break或当前目录下存在文件No_Loop         send_buf=(char *)Abuf;         send_nbytes=ASIZE;         Log("%03d sending %d bytes\n",cn,send_nbytes);         HexDump(cn,send_buf,send_nbytes);         wc=0;         while (1) {             pa=PutToRBuf(cn,&cs_BBB,&BBB,send_buf,send_nbytes);             Log("%03d sent %d bytes\n",cn,pa);             HexDump(cn,send_buf,pa);             send_buf+=pa;             send_nbytes-=pa;             if (send_nbytes<=0) break;//             sleep_ms(1000);             if (No_Loop) break;//             wc++;             if (wc>3600) Log("%03d %d==wc>3600!\n",cn,wc);         }         if (No_Loop) break;//     } #ifndef WIN32     pthread_exit(NULL); #endif } int main() { #ifdef WIN32     InitializeCriticalSection(&cs_log);     InitializeCriticalSection(&cs_HEX );     InitializeCriticalSection(&cs_BBB ); #else     pthread_t threads[2];     int threadsN;     int rc;     pthread_mutex_init(&cs_log,NULL);     pthread_mutex_init(&cs_HEX,NULL);     pthread_mutex_init(&cs_BBB,NULL); #endif     Log("Start===========================================================\n");      BBB.head=0;     BBB.tail=0;     BBB.size=0;  #ifdef WIN32     _beginthread((void(__cdecl *)(void *))thdA,0,(void *)1);     _beginthread((void(__cdecl *)(void *))thdB,0,(void *)2); #else     threadsN=0;     rc=pthread_create(&(threads[threadsN++]),NULL,thdA,(void *)1);if (rc) Log("%d=pthread_create %d error!\n",rc,threadsN-1);     rc=pthread_create(&(threads[threadsN++]),NULL,thdB,(void *)2);if (rc) Log("%d=pthread_create %d error!\n",rc,threadsN-1); #endif      if (!access("No_Loop",0)) {         remove("No_Loop");         if (!access("No_Loop",0)) {             No_Loop=1;         }     }     while (1) {         sleep_ms(1000);         if (No_Loop) break;//         if (!access("No_Loop",0)) {             No_Loop=1;         }     }     sleep_ms(3000);     Log("End=============================================================\n"); #ifdef WIN32     DeleteCriticalSection(&cs_BBB );     DeleteCriticalSection(&cs_HEX );     DeleteCriticalSection(&cs_log); #else     pthread_mutex_destroy(&cs_BBB);     pthread_mutex_destroy(&cs_HEX);     pthread_mutex_destroy(&cs_log); #endif     return 0; }

user: user-3
content: 引用 12 楼 su_787910081 的回复:我把每一个包写到一个文本文件中，看出来了是偶尔有包里面的数据错误了，这杂个办啊？  另外一个我发现fseek(); 值为536871 * 4000 的时候失败。 这个又可以怎么处理呢？ _lseeki64 fileno  不知道有多少前人掉在TCP Socket send(人多)send(病少)send(财富) recv(人多病)recv(少财富) 陷阱里面啊！ http://bbs.csdn.net/topics/380167545

user: user-2
content: mark 我也遇到过。 未解决

user: user-0
content: 引用 14 楼 zhao4zhong1 的回复:[quote=引用 12 楼 su_787910081 的回复:] 我把每一个包写到一个文本文件中，看出来了是偶尔有包里面的数据错误了，这杂个办啊？  另外一个我发现fseek(); 值为536871 * 4000 的时候失败。 这个又可以怎么处理呢？ _lseeki64 fileno  不知道有多少前人掉在TCP Socket send(人多)send(病少)send(财富) recv(人多病)recv(少财富) 陷阱里面啊！ http://bbs.csdn.net/topics/380167545 [/quote]  3Q 文件指针偏移OK了，但是你后面两段源代码是什么啊？我表示完全看不懂。求解释！！~~~

user: user-0
content: 我把每一个包写到一个文本文件中，看出来了是偶尔有包里面的数据错误了，这杂个办啊？  另外一个我发现fseek(); 值为536871 * 4000 的时候失败。 这个又可以怎么处理呢？

user: user-4
content: 引用 10 楼 su_787910081 的回复:[quote=引用 9 楼 user-4 的回复:] [quote=引用 8 楼 su_787910081 的回复:] [quote=引用 7 楼 user-4 的回复:] SOCKET sockClient = accept(sockServer, (sockaddr *)&addrClient, &nLen);         if (sockClient == SOCKET_ERROR)         {             printf("accept 失败!\n");             break;         }           printf("客户端: %s 连接上来！\n", inet_ntoa(addrClient.sin_addr));         //拷贝一下， 免得被监听线程又覆盖了。          SOCKET * newS = new SOCKET(SOCKET);         CreateThread(NULL, 0, &ThreadFunc, newS  , 0, NULL);  这个我表示有考虑，只是懒得写代码。所以线程函数一进去我就把它拷贝出来了。 SOCKET sockClient = *((SOCKET *)lpParam);[/quote] 这个你没有办法保证。在你拷贝之前就可以能被覆盖了。 [/quote]  好吧，这个我接受，但是这并不是我发贴的关键问题。 不过，在此也多谢您的细心，还希望您有兴趣把代码编译出来运行下看看有没有什么发现。 等您的好消息哦。！[/quote] 有时间吧，你的发送接收逻辑过于复杂了。

user: user-0
content: 引用 9 楼 user-4 的回复:[quote=引用 8 楼 su_787910081 的回复:] [quote=引用 7 楼 user-4 的回复:] SOCKET sockClient = accept(sockServer, (sockaddr *)&addrClient, &nLen);         if (sockClient == SOCKET_ERROR)         {             printf("accept 失败!\n");             break;         }           printf("客户端: %s 连接上来！\n", inet_ntoa(addrClient.sin_addr));         //拷贝一下， 免得被监听线程又覆盖了。          SOCKET * newS = new SOCKET(SOCKET);         CreateThread(NULL, 0, &ThreadFunc, newS  , 0, NULL);  这个我表示有考虑，只是懒得写代码。所以线程函数一进去我就把它拷贝出来了。 SOCKET sockClient = *((SOCKET *)lpParam);[/quote] 这个你没有办法保证。在你拷贝之前就可以能被覆盖了。 [/quote]  好吧，这个我接受，但是这并不是我发贴的关键问题。 不过，在此也多谢您的细心，还希望您有兴趣把代码编译出来运行下看看有没有什么发现。 等您的好消息哦。！

user: user-4
content: 引用 8 楼 su_787910081 的回复:[quote=引用 7 楼 user-4 的回复:] SOCKET sockClient = accept(sockServer, (sockaddr *)&addrClient, &nLen);         if (sockClient == SOCKET_ERROR)         {             printf("accept 失败!\n");             break;         }           printf("客户端: %s 连接上来！\n", inet_ntoa(addrClient.sin_addr));         //拷贝一下， 免得被监听线程又覆盖了。          SOCKET * newS = new SOCKET(SOCKET);         CreateThread(NULL, 0, &ThreadFunc, newS  , 0, NULL);  这个我表示有考虑，只是懒得写代码。所以线程函数一进去我就把它拷贝出来了。 SOCKET sockClient = *((SOCKET *)lpParam);[/quote] 这个你没有办法保证。在你拷贝之前就可以能被覆盖了。

user: user-0
content: 引用 7 楼 user-4 的回复:SOCKET sockClient = accept(sockServer, (sockaddr *)&addrClient, &nLen);         if (sockClient == SOCKET_ERROR)         {             printf("accept 失败!\n");             break;         }           printf("客户端: %s 连接上来！\n", inet_ntoa(addrClient.sin_addr));         //拷贝一下， 免得被监听线程又覆盖了。          SOCKET * newS = new SOCKET(SOCKET);         CreateThread(NULL, 0, &ThreadFunc, newS  , 0, NULL);  这个我表示有考虑，只是懒得写代码。所以线程函数一进去我就把它拷贝出来了。 SOCKET sockClient = *((SOCKET *)lpParam);

user: user-4
content: SOCKET sockClient = accept(sockServer, (sockaddr *)&addrClient, &nLen);         if (sockClient == SOCKET_ERROR)         {             printf("accept 失败!\n");             break;         }           printf("客户端: %s 连接上来！\n", inet_ntoa(addrClient.sin_addr));         //拷贝一下， 免得被监听线程又覆盖了。          SOCKET * newS = new SOCKET(SOCKET);         CreateThread(NULL, 0, &ThreadFunc, newS  , 0, NULL);

user: user-0
content: 引用 5 楼 user-4 的回复:[quote=引用 3 楼 su_787910081 的回复:] [quote=引用 2 楼 user-4 的回复:] 引用如果文件不大，传输基本没问题，但是文件只要稍微大一点的话传输就会出现问题。 具体描述一下呗。  有时候收发几百个包后，突然Client 就卡住了，然后Client 就退出。  具体的我没法用语言描述啊。有空有兴趣的话把代码编译编译运行看看吧，3Q了。[/quote]  找到卡住，退出的真正原因，别着急谈解决方案。 [/quote]  哥哥，小弟我就是没找到啊。找了好久了，没头绪啊，不然也不会发贴来问了不是。

user: user-4
content: 引用 3 楼 su_787910081 的回复:[quote=引用 2 楼 user-4 的回复:] 引用如果文件不大，传输基本没问题，但是文件只要稍微大一点的话传输就会出现问题。 具体描述一下呗。  有时候收发几百个包后，突然Client 就卡住了，然后Client 就退出。  具体的我没法用语言描述啊。有空有兴趣的话把代码编译编译运行看看吧，3Q了。[/quote]  找到卡住，退出的真正原因，别着急谈解决方案。

user: user-0
content: 引用 1 楼 jerry_dqh 的回复:发送的时候稍微Sleep一下看看，是不是缓冲太小，这样循环发可能电脑表示压力很大。  的确是，Sleep 一下的确是可以的，但是速度可慢的吓人啊，一个2G的文件我都完全收不完。不知道要发多久才能发完。速度上有上千倍的差距。

user: user-0
content: 引用 2 楼 user-4 的回复:引用如果文件不大，传输基本没问题，但是文件只要稍微大一点的话传输就会出现问题。 具体描述一下呗。  有时候收发几百个包后，突然Client 就卡住了，然后Client 就退出。  具体的我没法用语言描述啊。有空有兴趣的话把代码编译编译运行看看吧，3Q了。