Se vc tem 8G de RAM tem pouco swap sendo feito. Qualquer atraso ou é por sobrecarga de processos (geralmente o compiz), algum driver faltando, alguma sobrecarga no acesso ao HD ou má qualidade de algum componente de hardware.
A regra geral é que deve existir algum espaço de swap, independente de quanta RAM vc tiver ou quanto avançada a tecnologia esteja. Nada mais doque para evitar sobrecarga.
Para pcs de trabalho o tamanho ideal é 1x1 (8 de RAM e 8 de swap) para pcs desktop vc pode inverter a regra antiga 2x1 (ou seja 8 de RAM 4 de swap).