Eu tenho péssimas notícias para você que pretende usar Placa de vídeo AMD em Broadcast. Eu sou Fã dos processadores AMD, mas infelizmente em placas de vídeo AMD não funciona para Broadcast, na verdade são horríveis.

Porque não funciona?
O vMix e outros softwares broadcasts usa núcleos Cuda Core pra acelerar, as placas de vídeo AMD não tem a tecnologia CUDA.

O que é cuda core?

CUDA é uma plataforma de computação paralela, criada para que desenvolvedores possam usar de forma mais precisa e livre o alto potencial de processamento paralelo proporcionado por uma placa de vídeo. Tecnicamente falando, CUDA é uma engine de computação desenvolvida pela Nvidia para permitir que programadores utilizem todo o poder de processamento de suas placas de vídeo (GPUs) em algoritmos otimizados para utilizar recursos de computação paralela. 

Por isso as placas de vídeo AMD são péssimas pra broadcast, são boas só para jogos, isso porque todos os softwares de broadcast trabalham com cuda core.

As placas de vídeos dedicadas AMD são piores que algumas onboard, um exemplo disso é que a placa de vídeo onboard “Intel HD Graphics” está na lista que funciona no vmix, e nenhuma AMD está na lista..

Atenção: Não estou dizendo que “Intel HD Graphics” é uma boa escolha, mas ela quebra um galho com uma câmera, já a placa de vídeo AMD é um horror para Broadcaster em qualquer situação,

Veja a imagem abaixo, ela foi tirada no site da vMix, como você pode ver, vMix funciona em Nvidia ou Intel HD Graphics, AMD não está na lista, a imagem abaixo foi só um exemplo, mas vale para todos os softwares brodcaster.

O correto mesmo é usar uma placa da Nvidia, para saber qual comprar, Leia o artigo abaixo
https://focatutoriais.com.br/placa-de-video-ideal-para-transmissao-tv

Observação: Como eu disse no início desse artigo, isso nada tem a ver com processadores AMD, inclusive eu uso e acho ótimos, estamos nos referindo nesse artigo apenas a placas de vídeo.