Isto vai apenas simular a remoção, por isso teste aí a ver o que devolve, se remover apenas o pretendido, tudo bem, senão, teremos de afinar um pouco mais a coisa...
Para Unity:
sudo apt-get purge -s unity-*
Para o Gnome:
sudo apt-get purge -s gnome-*
Não se esqueça de partilhar aqui a lista de aplicações que iriam ser removidas, para podermos analisar se há aplicações que se vão embora por arrasto e que queira que elas permaneçam! Ah, e é preciso ter em atenção, ao remover o Gnome, poderá interferir com o Mate, por isso tem de se seleccionar bem os pacotes a remover, não vá o Mate depender de algo que vá ser removido pela remoção do Gnome.