114小说提示您:看后求收藏(114小说网shui114.net),接着再看更方便。

比如我们手机的存储容量可能是4G,笔记本的存储容量可能是400G,而一台笔记本的400G大概相当于一千部电影。

而股神通过爬虫搜集来的数据肯定是海量的,至少是T级别的,就是跑到P级别也不算是什么大事。比如1P的数据,它大概相当于250万部电影。人的一生也不过3万天,每天看十部电影,也足够看十辈子的了。

在如此大量的数据面前,莫回必然面临一个带宽问题,很容易想象,出租屋里的小区宽带肯定是不好使的。

现在超级本的运算能力已经获得验证了,应该是比较超常的,但是它的存储能力还未测试,如果存储能力不成的话,莫回还必须为这海量数据寻找一个存储空间。

诸如此类的问题还有很多,如果莫回想要把股神完成,并且上线运行,那么他必须像是老黄牛一样,勤勤恳恳的往前走,把这些挡路石一个个的全部处理掉。

本来这些事就是交给一个公司处理,一个成熟的团队来处理,都未必能够处理得很好,现在莫回需要一个人搞定,并且很可能必须不显山不漏水的一个人搞定,这里面的难度就可想而知了。

想想未来的前路,莫回感觉好像是登珠峰一样,好高啊~~~

好在莫回多少算是业内人士,这些事基本算得上是本职工作,无非就是项目经理、产品经理、主程、架构一肩挑了。难是难了点,工作量大是大了点,但是好歹还算有解决办法,只要沿着道路一步步走,总会有完成的那一天。

工作量不小,不过也不是没有捷径可走,莫回点开网页,开始搜集他需要的开源软件。他去开源之家搜了一下,开源的爬虫就有有一百多个,里面估计会有合用的。

五大模块他都简单的搜了一下,大多数都还有类似的可替代软件,现在他需要做的就是在里面找到最合适的哪一款,然后修改后进行组装。

首先需要选择开发语言,各种语言都有自己的适用范围和优缺点,一旦选定了,那么五大模块都需要是同一个语言开发出来的才行,这样也方便组装和拓展开发。

莫回想了想,他最终选定了C++,因为这种语言更加靠近底层和汇编,整体执行效率和速度比较好。

莫回开始在网上寻找和筛选合用的开源软件,将那些基本符合要求的c++开发的软件全部下载下来,各自先归类存储起来。

等莫回将合用的三十多个各类爬虫全部下载下来的时候夜已经深了,莫回揉揉僵硬的脖颈,伸伸懒腰,不由得为今后的日子哀叹:要拼老命了啊,上班拼命回家也要拼命,这是要把自己当驴使唤啊~~~ 笔趣阁手机端 http://m.biquwu.cc

游戏竞技推荐阅读 More+
张铁泉是否己死亡

张铁泉是否己死亡

沉默的大香蕉
远方表哥第一次来松花市,我得好好招待他…… 两个月后,我不得不去看心理医生……
游戏 连载 11万字
91影视在线观看

91影视在线观看

嫡女毒妃
中西医双料天才尹素婳穿越成不得宠的嫡女,就连成婚日都被拦在王府门外故意刁难。“要进王府大门,就和丞相府断绝联系。”“求之不得,但世子想娶我,终身不得纳妾。”一个人进门,一个人成婚,一个人入洞房,尹素婳表示,还有这等好事?手握医疗工作室,她笑着处理僭越的刁奴,手腕强硬。而他冷眼看着世子妃像是换了一人。只是婚后没几日,整个帝都都谈宁王府世子体弱多病,洞房有心无力...
游戏 连载 329万字
英语课代表让我c翻了视频

英语课代表让我c翻了视频

清晓深寒
抱错十五年的谢家三小姐回来了,黑不溜秋,土不拉几,爹不疼娘不爱,一来就被冠上了灾星的名号,还有茶艺大师的假千金在一旁煽风点火。谢颂华有些怀疑,仅靠她多年的电视剧小说经验,能拿稳这宅斗的剧本么?指环里的某人:你不是还有我吗?谢颂华:精怪不要口出狂言。等某日那赫赫战功加身的男人一朝回朝,众人只见那位从来不苟言笑的宸王径自来到谢颂华面前:你说谁口出狂言?很多年以后...
游戏 连载 0万字
1级a试看1分钟

1级a试看1分钟

剑上独觉
——噩梦边缘,地狱重生。 当你经历一次午夜梦回,突然醒来,就会发现自己进入了一个阴森无比的病院里,孤寂和恐怖紧随而来…… 是的,这里就是恶灵空间,进入这里,你将经历克苏鲁的混沌恐怖、黑暗童话的致命侵袭、scp基金会的恶意满载,充斥于伦敦街头的破坏兽,还有数不清的梦魇与恐惧、血腥和杀戮…… “人不应畏惧死亡,死亡应畏惧我们……” 封寒,一个普通黑铁种人类,他将行走于地狱边缘,化身为恶灵之王,死亡的
游戏 连载 172万字
宝贝这么湿想要吗

宝贝这么湿想要吗

王袍
万年古尸土星现世,一滴神血祸乱星河! 2096年,星河时代,地球考察队在土星某地万年冰川下3000米深处,挖掘出一具长达99米的巨人古尸,故事从此开始…… ※※※※※※※※※※※※※※※※※ 王袍已有《仙警》、《最轮回》、《最唐门》等8部完本作品,累积更新字数过千万。完本有保障,请放心阅
游戏 连载 152万字
おねえさんとなつやすみ在线

おねえさんとなつやすみ在线

魔公子
这是一所从二战时期演变而来的神秘学院。 新世纪异能人的价值观已经发生改变。 三年后陆文杰因异能力再次激活,而被重招学院,他是否能找回失去的记忆,揭开一切的根源。 请多关注,陪主人公一起追寻真正的‘平等’。
游戏 连载 49万字