pve5.3直通a卡显卡安装mojave14

wxzmz

我的配置

主板华硕P8Z77 ，cpu I52500，内存16G ddr3，240G ssd，矿渣显卡rx570 8G

因为esxi上面mac12以上的版本无法做到A卡的直通驱动，折腾了很久无果，就尝试了一下pve的A卡mac12以上的直通免驱，pve的安装不说了，网上一大堆，最新版的pve显卡直通比较麻烦，我专门写了一段放2楼了，应该先做pve直通，再安装mojave，pve已经直通显卡的就不要看了。

1，上传iso镜像，获取osk

pve -local-内容

把mojave的iso以及clover-r4674-amd64.iso上传上去

我用的是macOS Mojave 10.14 18A391 LazyInstaller.iso

Mac上运行附件smc_read，获取mac的osk

内容为下面引号内一句话，保留备用，全部mac机器都是一样的

“our*******ComputerInc”，

2，新建虚拟机

    名称随意，比如macmo，vmid就用系统分配的比如100

    操作系统iso映像选clover-r4674-amd64.iso，类别选其他

    硬盘总线设备 sata  缓存write back或者write back（不安全）

   cpu 核4个，类别Penryn

    内存大小大家随意，我用12288，12G

    网卡默认e1000

3，修改虚拟机配置

     虚拟机选项确保平板指针-是；bios改成ovmf（uefi）

     硬件，添加efi磁盘，储存选一下，然后点ok；添加cd/dvd，ide不变，选中mojave.iso

     修改/etc/pve/qemu-server/100.conf （100就是你前面分配的vmid）

     结尾新增这两行，

machine: q35

args: -device isa-applesmc,osk="THE-OSK-YOU-EXTRACTED-GOES-HERE" -smbios type=2 -cpu Penryn,kvm=on,vendor=GenuineIntel,+invtsc,vmware-cpuid-freq=on,+pcid,+ssse3,+sse4.2,+popcnt,+avx,+aes,+xsave,+xsaveopt,check

ps:这里的用第一步获取的osk，就是前面获取的“our*******ComputerInc”引号内的这段话替换掉THE-OSK-YOU-EXTRACTED-GOES-HERE

     找到这行 ide2: local:iso/clover-r4674-amd64.iso,media=cdrom   把media=cdrom改成cache=unsafe

     把e1000改成e1000-82545em

     然后保存

    回到选项-引导改成disk-ide2就是clover硬盘

这是我的100.conf,其中hostpci和sub是后面直通加的

4，修补pve

shell运行 echo 1 > /sys/module/kvm/parameters/ignore_msrs

     运行 echo "options kvm ignore_msrs=Y">>/etc/modprobe.d/kvm.conf && update-initramfs -k all -u

     然后重启pve

     下载pve-edk2-firmware_1.20181023-1_all.deb，上传到pve的tmp目录安装，shell进tmp目录运行  

     dpkg -i pve-edk2-firmware_1.20181023-1_all.deb

     apt-mark hold pve-edk2-firmware

     然后最好重新运行一下

      update-grub

      update-initramfs -u -k al

      重启pve

5，修改mac启动

   mac虚拟机点启动，快速点控制台，看到pve画面出来，快速鼠标点一下pve的logo画面，然后迅速按esc键，进device manager----ovmf platformconfiguration 分辨率改成1024-768

F10保存，一路esc退到主页，选reset，

然后先不进四叶草，先停止虚拟机。

    ps：先进控制台再点启动，主控制台是连不上的画面的

    修改/usr/share/qemu-server/pve-q35.cfg，添加

   [device "keyboard1"]

   driver = "usb-kbd"

   bus = "ehci.0"

   port = "2"

作者原话该文件不要添加任何多余空格，保持原格式。

6，显卡直通

硬件-添加pci设备-01:00.0以及01:00.1，2个显卡设备，pci-express可以不选，

主GPU先不选，选了就没控制台画面了，就没那个虚拟显卡了

7，安装mojave

然后点启动mac，（点启动前，确保左边栏不在控制台上，否则主控制台是连不上的，就要点右上角的控制台，新开个页面才能进控制台）。进控制台

  这时应该可以看到四叶草的启动画面了，直通显示器应该有pve的logo了，就可以安装了，如果点安装后花屏，出现很多个小屏，请点停止虚拟机，用第5步方式，进 device manager----ovmf platformconfiguration 确保已经分辨率改成1024-768，如果已经是1024*768了，再选一下reset就行了。

安装过程就很简单，点安装，控制台就黑屏了，直通显示器就会出现pve图标了，等一小会mojave安装画面出现直通显示器上，鼠标要控制的话，先点黑屏的控制台，就可以在直通显示器上移动控制了

8，你的电脑和直通机不在一起，安装不方便？虚拟机先开机着，不继续安装，在直通机上插好usb键盘鼠标，

然后shell运行：ps这里的100就是你mac虚拟机的vmid编号

qm monitor 100

info usbhost

我的返回信息

Bus 2, Addr 4, Port 1.6, Speed 1.5 Mb/s

Class 00: USB device 046d:c31c, USB Keyboard

Bus 2, Addr 3, Port 1.5, Speed 12 Mb/s

Class 00: USBdevice 046d:c24e, G500s Laser Gaming Mouse

然后quit退出qm

Shell运行

qm set 100 -usb1 host=046d:c31c

qm set 100 -usb2 host=046d:c24e

ps这里的100是我的vmid，改成你的，046d:c31c，046d:c24e这2个改成你自己前面info usbhost获取的

然后停止虚拟机，再启动虚拟机，直通机上的鼠标键盘都能用了

然后mojave安装过程就不多说了

我的2张A卡6850在pve用13.5上安装免驱，直接点亮

             矿渣Rx570 8G 在14安装直接点亮免驱

祝大家好运

全程参考老外的https://www.nicksherlock.com/2018/06/installing-macos-mojave-on-proxmox/这个安装的，可以直接按这个安装，无视我的安装过程

wxzmz

pve显卡的直通

pve安装就不说了，我安装是的5.3安装完我先修改文件/etc/apt/sources.list.d/pve-enterprise.list ，把唯一的哪行内容注释掉，然后

Shell运行apt-getupdate && apt-get upgrade 升级了一下，时间较长

显卡直通参考2个官方文档

https://pve.proxmox.com/wiki/Pci_passthrough

https://10.10.*.*:8006/pve-docs/chapter-qm.html#qm_pci_passthrough

10.10.*.*改成你pve主机的ip,这才是最新的文档

简单来说就是

1.修改/etc/default/grub文件

“GRUB_CMDLINE_LINUX_DEFAULT="quiet"改成

GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on"

2.shell运行“update-grub”

3.修改/etc/modules文件

新增

vfio

vfio_iommu_type1

vfio_pci

vfio_virqfd

保存

4.shell运行update-initramfs -u -k all然后重启pve

ps：PVE官网主页文档没有，只有pve主机的最新文档有

而且最新文档特别提示 pve对模块的修改后，都要重新运行这个命令后重启才能生效，巨坑

5.shell运行lspci -v

找到你的显卡地址 一般独立显卡都是01:00.0以及01:00.1

6.shell运行lspci -n -s 01:00

我的显卡返回

01:00.0 0300: 1002:67df (rev ef)

01:00.1 0403: 1002:aaf0

然后运行

echo "options vfio-pci ids=1002:67df,1002:aaf0" > /etc/modprobe.d/vfio.conf

就是把options vfio-pci ids=1002:67df,1002:aaf0加到vfio.conf文件

“1002 67df aaf0”改成你自己的

7.修改/etc/modprobe.d/pve-blacklist.conf

加上

blacklist nvidiafb

blacklist nouveau

blacklist nvidia

blacklist radeon

blacklist amdgpu

8，最后运行update-initramfs -u -k all然后重启pve

结束

后面就是跟esxi一样 可以web页面添加pci显卡设备直通了，

pci-express可以选上 主gpu先不要选上，选上的话控制台就黑屏了

wwwlhp

多谢楼主分享！！！

lcaspear

正在按照楼主的一步步的来弄，目前已经装上PVE了，也按步骤做了，但是还是卡在直通这一步了，换了好几块卡了，要么黑屏，要么花屏，不直通的话完美，分辨率也比Esxi下好，就是直通这步卡了，准备再重新弄一个干净的PVE，按楼主的办法再来一次。

wxzmz

首先确定显卡是直通是正确的，怎么确定呢，你启动虚拟机后，直通显示器会有pve的logo，以及一些文字
其次，你换卡就要把先把vfio.conf里面添加的前面卡的数据删了，然后重新做pve显卡直通5-8步骤，第7步驱动黑名单就不要重复添加了，可以省略


还有特别注意图形界面的 主GPU 选项，打上后主控制台启动就是黑屏的，就是直通显卡做主显示器了

PS：今天把mojavo 14升级到14.4，然后重启竟然是直通显示器是黑屏的

然后把pci-expree和主GPU打上勾，重启mojave画面出来了

所以你可以尝试一下主gpu打上勾

在13.5的时候，控制台显示器和直通显示器都能点亮，都能相互镜像控制

wxzmz

把主板声卡的pci设备也直通给了mojave，查了p8z77的主板声卡是al892，注入id1，voodoo声卡直接驱动了

固定majove的ip，共享里面打开远程管理和远程登录，win系统下安装个vnc viewer，就可以远程控制虚拟机mac了，远程音频也正常

然后clover设置默认mac系统盘自带启动，把pve主机的显示器 键鼠全拔了，直接pve界面控制mac开关，win远程vnc控制pve主机上的majove，发现分辨率只有1024*768，没显示器的原因
淘宝个 HDMI接口的显示器模拟器，15元，（也有dp接口），直接插rx570的HDIM接口，分辨率默认1080P，也可以调到2k 4K,不过还是1080P最流畅了。

至此，pve虚拟机下面的mac安装调试完毕，以后全部远程控制pve虚拟机mac的工作

wxzmz

[ 本帖最后由 wxzmz 于 2019-4-2 01:29 编辑 ]

网上找了下制作iso的脚本和app，在mojave 14下面基本失效了

偶尔看到个老外的教程，试了下14.4完全ok
https://blog.petehouston.com/download-and-convert-macos-mojave-installer-into-iso-file/

给需要的虚拟机朋友们，可以自己制作mojave的iso了
说说 制作步骤

1.先去http://dosdude1.com/mojave/  下载最新版macOS Mojave Patcher，

mac 13 14.4最新版本都可以运行 macOS Mojave Patcher
菜单栏-tools-download macOS-YES
然后选中 Downloads，右下角Select Save Location 确认

然后等待下载完成 就可以把macOS Mojave Patcher关了

2.终端依次输入
hdiutil create -o /tmp/Mojave -size 8000m -layout SPUD -fs HFS+J

hdiutil attach /tmp/Mojave.dmg -noverify -mountpoint /Volumes/install_build

sudo ~/Downloads/Install\ macOS\ Mojave.app/Contents/Resources/createinstallmedia --volume /Volumes/install_build

PS:这条命令，老外的连接里面有点小问题/Downloads/前面少了个~，原文运行会出错

然后把桌面上的install macos mojave的磁盘推出

hdiutil convert /tmp/Mojave.dmg -format UDTO -o ~/Downloads/Mojave
mv ~/Downloads/Mojave.cdr ~/Downloads/Mojave.iso
运行完在下载目录就是生成的最新的mojave安装光盘

hije

好帖子，收藏了！

fengboyboy

好帖子，准备上手安装

fengboyboy

楼主，我直通显卡是成功了，但是貌似没有驱动的样子，显卡也是免驱的rx580,直通显示器黑屏，本机报告中显卡信息显示，但是没有具体的驱动信息

wxzmz

fengboyboy 发表于 2019-4-2 12:56
楼主，我直通显卡是成功了，但是貌似没有驱动的样子，显卡也是免驱的rx580,直通显示器黑屏，本机报告中显卡 ...

1.显卡直通是否成功，就是在mojave虚拟机启动后，直通显示屏应该要有pve的logo以及读取一堆efi信息最终落在clover选择画面


我把我的conf文件贴出来，你比较一下
args: -device isa-applesmc,osk="ourhardworkbythesewordsguardedpleasedontsteal(c)AppleComputerInc" -smbios type=2 -cpu Penryn,kvm=on,vendor=GenuineIntel,+invtsc,vmware-cpuid-freq=on,+pcid,+ssse3,+sse4.2,+popcnt,+avx,+aes,+xsave,+xsaveopt,check
bios: ovmf
boot: cdn
bootdisk: sata0
cores: 4
cpu: Penryn
efidisk0: local-lvm:vm-100-disk-0,size=4M
hostpci0: 01:00.0,x-vga=1,pcie=1
hostpci1: 01:00.1,x-vga=1,pcie=1
hostpci2: 00:1b.0
hostpci3: 00:14.0,pcie=1
ide2: local:iso/clover-r4674-amd64__.iso,cache=unsafe,size=256M
machine: q35
memory: 12288
name: MacMojave
net0: e1000-82545em=02:EB:28:4B:EF:95,bridge=vmbr0
numa: 0
onboot: 1
ostype: other
sata0: local-lvm:vm-100-disk-3,cache=unsafe,size=60G
scsihw: virtio-scsi-pci
smbios1: uuid=c98541d4-93b9-4033-8544-3e8df360081e
sockets: 1
usb1: host=046d:c31c
usb2: host=046d:c24e
vmgenid: d4bc0c34-5810-47ac-aa6b-313bb99f345e




其中
hostpci2是我直通的板载声卡
hostpci3是我直通主板usb3.0
usb1 usb2分别对应我的直通鼠键


2.检验PVE显卡直通最好的检验就是装一个win10，然后把显卡直通给win10，是否成功
但是网上又没有中文的PVE下面win10直通显卡教程，写一篇太烦太累了
你将就着看看英文安装win10教程吧
https://jonspraggins.com/the-idiot-installs-windows-10-on-proxmox/
以及中文的用Proxmox搞定gpu穿透
https://blog.51cto.com/sery/2161368?cid=716548
结合起来把显卡直通给win10，看能不能驱动起来，win10是否正常



3。最终mac启动完成后，直通显示器黑屏的话，可以把主gpu和pci选上试试，


4，majove版本还有关系，最好先用macOS Mojave 10.14 18A391 LazyInstaller.iso安装先，然后再尝试14.4


5，我把老外的clover覆盖升级成4910，尝试一下

fengboyboy

wxzmz 发表于 2019-4-2 17:33
1.显卡直通是否成功，就是在mojave虚拟机启动后，直通显示屏应该要有pve的logo以及读取一堆efi信息最终落 ...

感谢楼主，我试试

wslideshan

支持支持6666

wxzmz

fengboyboy 发表于 2019-4-2 18:48
感谢楼主，我试试

你可以这样 先把PCI-Expree 的勾打上尝试 安装

最终稳定后 把主gpu选上

pjjgarden

wxzmz 发表于 2019-4-1 13:45
[ 本帖最后由 wxzmz 于 2019-4-2 01:29 编辑 ]

网上找了下制作iso的脚本和app，在mojave 14下面基本失效了 ...

没有mac实物的可以操作吗？

pjjgarden

wxzmz 发表于 2019-4-2 17:33
1.显卡直通是否成功，就是在mojave虚拟机启动后，直通显示屏应该要有pve的logo以及读取一堆efi信息最终落 ...

win10显示错误43是什么问题？

wxzmz

核对一下

一。安装pve的时候 bios的一些设置

  安装前bios里面cpu的虚拟化技术或者vt-x，vt-d确保开启状态，当然首先的确定你的cpu以及主板支持vt

            bios里面的csm 开着

            bios里面的secure boot安全启动是 选 other os其他操作系统

  启动的时候 我选的是uefi pve硬盘

二。依次检查直通是否正确

1/etc/default/grub 文件是否如下

GRUB_CMDLINE_LINUX_DEFAULT="quietintel_iommu=on"

2/etc/modules是否如下

# at boot time, one per line. Linesbeginning with "#" are ignored.

vfio

vfio_iommu_type1

vfio_pci

vfio_virqfd

3/etc/modprobe.d/vfio.conf文件是否如下

options vfio-pci ids=1002:67df,1002:aaf0

（改成你自己的）

4/etc/modprobe.d/pve-blacklist.conf是否如下

# nidiafb see bugreporthttps://bugzilla.proxmox.com/show_bug.cgi?id=701

blacklist nvidiafb

blacklist radeon

blacklist nouveau

blacklist nvidia

blacklist amdgpu

确认后再运行一下

update-grub

update-initramfs-u -k all

重启主机

三。把local cursor 勾去掉能有效的去除鼠标双影，同时鼠标在控制台移动慢一点就行了，我通常都是远程桌面控制，不存在鼠标问题。win10的远程桌面用显卡硬编码设置好是非常流畅的

四。win10网卡驱动一装好，就会自动update安装显卡驱动了，一般A卡 N卡，他都会帮你自动装上，你耐心等几分钟，win10的显卡驱动就自动装好了，直通显示器就会显示了。然后重启后可以去amd或者nv网站下载最新的驱动安装。当然我网络通后 马上去拉自己nas上下好的驱动，然后把网卡禁用，重启安装会更快一点。

wxzmz

pjjgarden 发表于 2019-4-5 19:23
win10显示错误43是什么问题？

1 各个majover版本不一样，安装情况不一样，我开始用macOS Mojave 10.14 18A391 LazyInstaller.iso，https://bbs.pcbeta.com/forum.php?mod=viewthread&tid=1795372&highlight=cdr就是14这个版本，不需要把直通显卡的主GPU选上，但是后来安装14.4，我用7楼的自己做的，在安装到最后部分重启的时候，你不选主gpu直通屏是黑屏的，只能先停止虚拟机，把直通的2个pci设备都加上主gpu。其实最好的是macOS High Sierra 10.13.5 Lazy Installer CDR https://bbs.pcbeta.com/viewthread-1787663-1-1.html这个版本安装，无需选主gpu，而且控制台虚拟显示器和直通显示器是同时可以显示，包括镜像，可以先尝试简单的13.5。

2 安装majove时候 当你在clover选中安装光盘后安装，控制台是画面冻结不变的，直通显示器画面也会冻结的，耐心等待1-2分钟读取安装光盘

3 安装引导盘 用一楼老外的clover-r4674-amd64.iso或者11楼我覆盖升级成4910的iso，后面你可以按老外的教程把efi分区拷贝过去，在硬盘的efi修改各种clover设置。当然你也可以安装更高版本的clover在硬盘的efi分区，但是注意最新版clover里面的efi驱动如果有不兼容的起不来，用iso里面的efi驱动替换掉

4，关于OVMF的修复，作者又升级了pve-edk2-firmware_1.20190312-1_all.deb

VANTZR

多谢楼主分享！！！