É, nesse ponto concordo com o Cláudio, talvez seja melhor [e como você mesmo disse, mais fácil] manter o Windows. Nunca mexi com latência, então não sei te dizer nada. Mas sempre dá vontade de tentar resolver o problema de todos e faze-los tirar de vez o Windows. Isso é só comigo?
Outra opção que vale pelo menos conhecer é o Ubuntu Studio, uma distro especializada em manipulação de áudio, vídeo e imagens.
http://ubuntustudio.org/
Quem sabe as configurações que você precisa não já vem por padrão nele?