分类：电脑/网络-程序设计
问题：请高手指点程序开发的迷津！！！基本情况由于个人兴趣使然，经常需要 
基本情况由于个人兴趣使然，经常需要从相对固定的网站（几十个中文外文网站）获取大量的数据资料，定时（每周至少两次）更新整理并对数据进行分析处理。数据资料获取的工作量非常非常大，是典兴的dirty data input，找到网站，打开网页，进入资料区（通常是网页表格形式，也有文本），然后一点一点儿的Ctrl+C和Ctrl+V。最最最烦人的就是这一步了，每次更新都要十个小时以上，而且这种数据资料短期的没有用，估计三五年以上的的海量数据才有分析价值。由于是个人用，没有财力支持，且预期研究结果也不是很有把握，不可能也不现实向专业公司或网站购买数据，只能自己想基本情况由于个人兴趣使然，经常需要从相对固定的网站（几十个中文外文网站）获取大量的数据资料，定时（每周至少两次）更新整理并对数据进行分析处理。数据资料获取的工作量非常非常大，是典兴的dirty data input，找到网站，打开网页，进入资料区（通常是网页表格形式，也有文本），然后一点一点儿的Ctrl+C和Ctrl+V。最最最烦人的就是这一步了，每次更新都要十个小时以上，而且这种数据资料短期的没有用，估计三五年以上的的海量数据才有分析价值。由于是个人用，没有财力支持，且预期研究结果也不是很有把握，不可能也不现实向专业公司或网站购买数据，只能自己想办法。构想：个人想开发一组应用程序，主要功能为三大块：①从网站获取资料（如上所述），让自动更新资料；②数据资料处理后存入数据库；③对资料信息进行追踪分析处理。后两个功能感觉问题不大，只要能把资料信息弄到电脑上来就成功了一半，导入数据库，处理分析好办，个人感觉能应付。第①个功能感觉比较麻烦，没有一点儿头绪，不知道该如何下手。由于本人不是专业编程的，平时工作中大多使用专业软件来处理问题，不涉及到程序开发工作，至多是在电脑上演示一个demo程序，写个几百行个人用的“小程序”或者VBA什么的，没有程序开发经验，懂一点儿VB、C/C++，Access、SQL。如果理论上能行，我愿意花时间也能抽出时间学习程序开发的相关知识。想请高手指点迷津。①  想法可行吗？如果可行，难度有多大？不一定要完全智能化，电脑能帮我分担一部分工作就行了，个人用。②  如果可行，可能需要用到专业程序开发知识？③  还想请教有相似程序开发经验的高手，谈谈处理这类问题时的心得和经验。④  这个程序不可能一步到位，在程序的扩展，或者升级方面有哪些问题要注意。⑤  还请提出您宝贵的建议和看法。一菜鸟不胜感激！！！5分少了点，可我就这么多了！
回答：想法可行。可以模拟IE先把网页download下来，然后打开文件分析格式，一般网页的格式都是文本格式，当字符串处理就好。通过一些标志,比如<table>之类，得到你要的数据。

具体的编程方法你可以去专业的论坛（比如csdn.net)请教一下，也许已经有人做了，改改代码应该就可以。

如果程序可以帮你节省大量的时间，你可以考虑付钱找人给你开发。