请问有人了解 kvm 显卡直通吗?
- 0次
- 2021-07-01 13:49:16
- idczone
一直觉得虚拟机图形性能不够,想试试显卡直通,但看了相关介绍感觉挺困难的,比较挑硬件。这段时间一直在考虑接下来要配的台式机的配置,现在想把显卡直通这个也考虑进去,请问 e3 v3 +z87 主板和 e3 v5 +c236 主板哪个更适合显卡直通呢?宿主机系统为 ubuntu 16.04 ,客户机应该是 windows ,插两张显卡,一张主卡,一张直通给虚拟机,均限定为 n 卡,这两张显卡又选什么比较好呢?
之前发的求配置贴: https://v2ex.com/t/290762#reply53
测试过某 C602 品牌机,发现服务器很挑显卡,非兼容列表的问题 N 多, Passthrough 更挑一言不合就死机,不知道通病还是个例。。。
客户机 windows 推荐试下 Windows server 2016 preview 的 remotefx , i3 核显都跑得很欢
我之前用過 vfio 做 passthrough ,顯卡是 k2 ,主板不詳, u 是 i7
善用 Google
我的 blog post: https://zllovesuki.git.sx/essays/2015/09/gpu-passthrough-via-vfio-pci-with-kvm-on-ubuntu-1504/
主板要支持 VT-d, that's a given
然后最好是服务器芯片,例如 C236
普通消费者板容易出问题,特别是 ACS 或者 VGA i915
参考 unRAID
以前折腾过这个,得出几点总结:
esxi + AMD 显卡 + 正确的显卡驱动 + 运气 = 玩的 happy ;
HD7770 ( R7770 )约等于 R7 250 ,这个级别以上的显卡容易遇到奇怪问题;
kvm = 痛苦折腾,未能折腾成功,理论上可以;
nvidia 消费级显卡(即使是泰坦)= 没可能;
集成显卡=不能直通;
vt-d 技术,需要 cpu 和主板同时支持方可启用,
intel 的
主板
消费级 Z 系列、 B 系列 大厂主板(某 G 某 A)基本都支持,可能有 bug ,
H 系列没指望,
服务器芯片组基本都没问题。
cpu vt-d 的支持: i5 、 i7 不带 k ,或 e3 e5 e7 ,详见 ark.intel.com
---------------
amd 的据说全家支持,然而性能和功耗发热悲剧,
上面是至少 1 年前的经验,
最新情况如何,比如.... 可能 (
kvm 的 bug 修了或者配置变容易了,
nvidia 新显卡放开限制了
),
有待楼主自行测试。
esxi + i7/e3/e5 + a 卡, 我成功过多次,均使用过一段时间。
比如
3770 / 4790 / e3 1230v2 / e3 1230 v3 / 2620v2 / 2650 / 2660 / 2670 +
asus 的 b85 ,
asrock 的 z77 ,
gigabyte 的 b75 ,
asrock E3C224D4I-14S ,
asus z9pa-d8,
asus-P9D-MV 。。。
--------------------------
amd
HD7570 (HP OEM 渣渣),
HD7750 ,
R7770,
R7 250E,
以上三屏 ok ,主流网游 ok
R5 230, (貌似比核显略强,至少双屏 ok , dota ok )
R9-270(这个配合 z77 ,似乎卡 pcie 带宽的感觉, HDMI 音频和画面在游戏时会卡住)
---------------------------
n 卡坑 die ,功能阉割, AMD 大法好。
kvm=off 是指关掉 kvm ,纯粹用 qemu 模拟?这样性能不会很差吗?还是说只是针对英伟达驱动的一种伪装,实际没有关掉 kvm ,不会有性能影响?
另外,为什么最好是像 c236 这样的服务器芯片组呢? z87 这样的芯片组有什么额外的问题呢? ACS 的话, e3 本来就不支持的;而 VGA i915 的话,虽然我没看懂它具体是做什么的,但好像跟 intel 核显有关,而我考虑的 cpu 型号都是不带核显的
因为从前用 a 卡时被蓝屏和内部错误折磨得痛苦不堪,所以不到万不得已不想考虑 a 卡
那有没有一个包含 n 卡的兼容显卡列表呢?
官方的兼容卡太贵我没有测试,测了 3 张都会 PCI bus error 就放弃了。而且兼容显卡列表并不一定指一定兼容 VT-D passthrough 。
考虑 Xen 的话可以参考下这个链接:
https://en.wikipedia.org/wiki/List_of_IOMMU-supporting_hardware#Nvidia
kvm=off 不代表关掉 kvm 加速,只是隐藏 kvm 的 flag 。旧的 n 卡驱动 kvm=off 就够了,但是新的驱动需要改 vendor_id
服务器板对 IOMMU 支持会更好, rule of thumb 。一般的芯片你可以自己试试。
这道题我会做(举手)
根据题目中“虚拟机图形性能不够”、“双显卡”,我理解成你是要自己日常使用包括玩游戏,而不是拿来做服务器的
KVM
优点:显卡支持还可以
缺点挺多的:你需要长期运行一个臃肿的底层系统比如说 Ubuntu ,你对底层系统的更新、升级、意外操作都可能让整个架构崩溃。重启底层系统意味着完全关机。除非你用 SSH 等 CUI 方式连接到底层系统,否则你可用的虚拟机数量=显卡数量-1
推荐使用 VMware ESXi
优点:底层系统非常小性能损失低、虚拟机数量=显卡数量、定位就是虚拟机,功能非常完善、虚拟机玩大型游戏杠杠的
缺点:日常使用支持部分 A 卡。 N 卡除了超高端系列都会报 53 错误无法驱动。
赠送 Google 关键词: one cpu x gamers , x=>2~7
我选择 kvm 一个原因是它支持 n 卡(虽然也被英伟达封杀但没有 vsphere 上那么彻底),但更重要正是因为它需要运行一个底层系统。如果我选择 vsphere ,只能通过远程操控,在操作上感觉跟配了多台电脑没什么区别,无法灵活切换。
是不是直通显卡的话,只能另外接一个显示器,而不能将虚拟机画面显示在主机屏幕上的一个窗口里?
显卡直通的意思就是 GPU 独占,当然必须是独立的显卡+独立的显示器
配新系统,如果是我就咬牙上 e5, acs patch 不会被正式内核接受,毕竟作者也不确定是否会对系统造成损害
将来的内核升级都得手工打 patch, 哪天不能用了或出什么古怪问题也不确定
e3 v3 + z87, z87 不支持 ecc 内存. 不考虑 ecc 内存,不如上 LGA 2011 接口的 i7, 可以支持 ACS
e3 v5 + c236, 既然放弃原生 ACS 支持,当然需要考虑增加 iGVT-g 支持了,还是选带核显的 U 好
ssd m6s 不带断电保护,选 ssd 可参考下 http://open-zfs.org/wiki/Hardware/>显卡先别买,用手头的老卡先练手,老卡一般也比新卡碰到的问题少
如果手头有老机器适合练手,先用老机器走通流程, 把概念摸清
"对底层系统的更新、升级、意外操作都可能让整个架构崩溃。重启底层系统意味着完全关机。" 这句话不管是对 ESXi 或 Xen, 都适用. 底层系统只装虚拟相关软件,能有多臃肿. 而且长期运行的项目适合丢到容器里,总比下面再多一层 ESXi 或 Xen 性能更好.
xeon e5 1620 v3 (淘宝拆机货)+ 华擎 x99 极限玩家 3 +三星 16gx2 ddr4 2133p recc 内存这个组合怎么样?这个支持 acs 而且价格相对便宜(大约 4000 )