服务器问答

文科生坐拥 20 台高配服务器,该怎么好好利用?
0
2021-05-10 15:46:21
idczone

有点标题党了,事实是这样的,我正在某学校文科学院担任研究助理。大数据的火热让不少文科专业也开始跟风,我所在的实验室的设备确实给力,20 台服务器,每台服务器有 256G 内存,4T 固态硬盘存储。

然而管实验室的老师是文科出生,Linux,Python, Spark, Hadoop 等都只是了解功能,技术细节并不懂。我们实验室之前有另外一名专职的科研助理,他统计学背景的,爬虫做得不错,服务器在跑的几个爬虫任务都是他一手搭建的。不过最近他离职了(毕竟 IT 公司给的薪资比学校高多了),爬虫的任务时不时出现问题还要找他远程帮忙解决。抗投诉服务器

前段时间我们的服务器被学校的网络中心检测到有僵尸网络入侵,我们找供应商帮忙看是什么原因。搞了半天最后也只能“治标不治本”地进行 IP 封锁而已。

杂七杂八地说那么多,我也不知道我想说什么,我只是觉得好暴殄天物啊,200 万的机器,监测环境没有,用户管理一团糟。数据分析现在我们用单机就能暂时解决了,分布式系统都没怎么利用。

我好愧疚啊,毕竟这些机器都是国家掏的钱,并不能做到物尽其用。听说今年还有一百万的经费下来,要购置一批 GPU 服务器。

各位 V 友对我有什么建议吗?我也是纯文科生,熟练使用 R 语言,Python 入门。我应该怎样做才能提高这些服务器的利用效果,例如我们的服务器需要装什么东西好让服务器运转地更合理科学?我应该努力学习哪些方面的知识?多说一句,我的研究方向是计算社会科学。

我现在用着实验室内存 500G,价格 20 万的工作站发帖,感觉硬件条件好到让我这小白好惭愧。



和学校信息中心商量下,部署一套 OpenStack,利用校园内网分发点资源给有兴趣的同学们做试验用。

这有点算公益活动了,我估计管实验室的老师暂时不会同意的。

找 EECS 系合作发 paper,借他们用? 实在找不到的话可以和我们合作发:)

挖矿(逃

挖个矿?

那些专业的硬件设备更好。。。你们什么专业的呀?有什么好的研究计划吗?

不懂。。。。而且,学校的网络中心会有监控?

什么学校啊!这么豪气。。我们这专门搞深度学习的各种缺服务器。。

搞个大型 cg 渲染。配置好环境,用网上素材或者原文件跑。或者自己学一学电影特效

羡慕,什么学校啊

为了折腾而折腾,没有需求创造需求,挖矿好像挺适合这个场景的

这年头连运营商都因为缺钱而导致新增设备不足了,楼主这学校真壕啊

也不能说没有需求吧。你看我们被僵尸网络攻击了,防护系统一团糟,用户管理也只是很原生态的命令行操作,大数据平台只搭了 Hadoop 和 Spark。还有很多东西可以做,我是想请教各位有什么我可以做的,有什么是我可以请老师让专业的人在做的。

这年头除了带宽一般都性能过剩了

沿海某双非。。。

我提供算法和代码,能付费帮我运算吗?

你可以了解下门罗 XMR

找找学校内有没有一些计算机相关兴趣的 team 给他们分享点吧,会很感激的。
或者你可以拿来学学比如 openstack openshift kubernetes 等,很适合,说不定还可以写点文章修电 bug 为社区做点贡献。

我们是不会接受商业合作的。我们的研究都是基于学术目的的。我们的合作机制还很不完善,所以暂时不能跟你们合作。或者你可以提个建议,我们应该建个什么系统,软件,这样可以方便我们和其他人的合作同时又不影响我们自己日常服务的工作?

好的,谢谢你的建议。把资源免费给别人用同时不影响自己日常使用,有什么好的管理系统吗?还是简单地新建个临时用户?纯小白,不懂问一句。

我还以为是什么技术。。。。违法的事情我不做

搞不懂,文学院为啥要弄这么高端的服务器?
文学……和大数据?似乎没什么好搞的,如果楼主发现了可以搞的点,说不定能发现一个新兴市场呢
可以尝试方向:
人工智能翻译?(似乎抢外国语学院的活了
金融数据分析?(似乎抢商学院的活了,但是我学校的商学院是文学院分出去的……
人工智能文学创作、语义识别……等等
人工智能舆情分析?(希望别搞出来吧……

层主应该是硬核理工科学生了。事实上,文科里面也有不少搞大数据和机器学习的。我是传媒相关专业的,对媒体文本数据进行挖掘、自然语言处理是我们的日常任务(尽管还远说不上熟练)。另外,已经有一些知名的传媒学院在搞舆情检测系统给 zf 服务了。。。。

文言文编程 比较适合楼主
可以和本站那个谁,基于学术研究合作下,顺便还为开源世界贡献了一定的算力

这个东东有新意 而且开源项目算小有成果了。
跟原作者 合计合计优化下语法,拓展下,或者搞点类库,试试自举啥的。

楼主是 Tech 的嘛?维护可以找 CS 的本科生嘛,补助一个月给个 6K 就行了,可以帮你介绍啊(

要是想捐助学术项目的话,BONIC 上有很多,什么寻找外星人,抗击癌症,清洁能源之类的。

前段时间搞了一个 GitHub 多样性和代码质量的关系,需要分析很多仓库的代码质量,也许可以一起搞 :)

暴殄天物……
话说学校如果没谁主动申请的话,这些服务器应该不会硬送吧,又不是中小学生上课用的 PC…
话说这一台服务器能换多少台学生机哟喂

BOINC 了解一下,为人类文明建设做贡献

挖坑+1

不是自己的钱浪费起来不心疼

羡慕+1,我们实验室服务器的配置大概只有你们的十分之一。那么你们实验室当时采购这些服务器的用途是什么呢?老板也没有任何课题研究方向就花了这么多钱?

要不发点工资给我 我给你们上 proxmox 集群 网页管理服务器方便的很。

用 20 万的工作站发帖可还行....
按 lz 说的文学院的水平,很难发挥这些机器的价值,毕竟按目前状态能搞的研究课题估计一个工作站都绰绰有余。可以在一部分机器上装一些管理系统日常用来跑算法,或是集群微服务的部署,给同校其他学院的人或是开源使用。不过按 lz 爬虫都难以维护的状态,想要运维这些也太难了...

光说了内存和硬盘,CPU 和 GPU 的配置还没提呢。最好把配置 print 出来,大家才好参考着给建议。

不挖矿可惜了

我的计算是基于业务的,不方便透露给你。目前通过套路云按量付费进行计算,一次三四百吧。
现在 CS 学科贴合业务很重要,很多 CS 重要论文都是在企业里发表。可以找些企业合作下,通过提供算力解决企业技术上的痛点。
祝早日发论文

疑炫无据,不敢言

跑 ESXi 或者 PVE,实在不行 SolusVM,拿来出租 VPS,血赚
前提是有公网 IP,宽带足够

实在闲置得多可以跟校内一些有交叉的学科团队合作,你们提供服务器,也参与他们的项目,共同维护,既能学习又能把闲置资源用起来。
如果虚拟系统不会搞,怕影响实验室内部,可以干脆物理隔绝,直接拔线,划出几台提供外部服务,搞多一台专用路由接入。

具体用什么系统能具体说说吗?如果我没有能力维护,但是这些东西又是很重要的,我可以请老师让专业的人来做。

可能是文科院系有点跟风搞大数据吧,刚好学院有钱,老师也做了一些大数据研究(就是爬虫获得的数据量大了点,分析上也没什么特别的),然后学院就高薪并承诺给实验室为诱饵挖了老师过来。目前的研究只有爬虫一些数据,并可视化展示。多说一句,我们的爬虫和存储是分布式的,但是分析只用了单机的 Pyspark 和 Hive。供应商搭好了 Spark 集群环境,pyspark 集群却搞不好,有没有大神给点意见 pyspark 集群搭不上来问题出在哪?。

那就做开源镜像吧,还能组织一个小组。相同爱好的人一起学习。
数据地带为您的网站提供全球顶级IDC资源
在线咨询
专属客服