Twitter publica suas otimizações para o MySQL

[Bitetti]

Artigo de Marcos Elias Picão no hardware.com.br

O Twitter é um dos maiores serviços que usa ativamente bancos de dados na internet. A cada segundo milhares de tweets são postados, e tudo isso é gerenciado por um relativamente complexo esquema de servidores. No entanto, na parte mais íntima do banco de dados está lá um grande conhecido da comunidade: o MySQL. É o popular sistema de bancos de dados open source, apesar da má fama da sua atual mantenedora com a comunidade livre.

Para tanto o pessal do Twitter fez diversas modificações no MySQL, otimizando o software às suas necessidades, algo impressionante que compõe uma das características mais básicas de qualquer projeto de software livre. Como de costume estão liberando as modificações feitas, permitindo que outros também as aproveitem e que, eventualmente, elas sejam integradas ao MySQL oficial.

Entre as modificações aplicadas estão:

Variáveis de status adicionais, principalmente do InnoDB. Elas permitem monitorar o sistema de forma mais eficiente e facilitam a análise do comportamento ao lidar com o workload.

Otimização da memória em sistemas NUMA, alocando mais RAM para o InnoDB logo no início caso muita memória esteja livre; no entanto isso não prejudica o sistema em caso de pouca RAM, já que a verificação é bem rápida.

Melhora as análises de processamento desnecessário no servidor, permitindo cancelar consultas demoradas numa escala de timeout em milisegundos.

Permite exportar e restaurar o buffer pool do InnoDB usando um sistema leve e seguro. Isso permite reiniciar os sistemas de forma mais transparente, com o mínimo de dano para os dados e para os usuários conectados.

Há ainda otimizações para máquinas que usam SSD, como o comportamento page-flushing e redução nas atividades de escrita do MySQL, o que pretende aumentar a vida útil dos SSDs.

Há mais detalhes no blog dos desenvolvedores do Twitter. Para ver tudo sobre as modificações feitas por eles consulte o histórico de alterações e a documentação. O projeto está hospedado no github.

[Bitetti]

Pessoalmente amo o MySQL, por mais que algumas partes de sua anatomia deixem a desejar.
O InnoDB é a parte mais avançada do sistema e é aonde as tabelas de dados se relacionam umas com as outras.
O medo era que a Oracle não evoluísse o MySQL, claro há exemplos de empresas que provam o contrário como no caso da compra do Maya pela empresa que criou o 3DMax, mas essa noticia é muito boa para acalmar o espirito dos desenvolvedores.
Outra observação é que pelo que li no artigo e comparando com a ultima vez que li os updates do MySQL o Twitter fez atualizações bem mais consistentes e profudas doque o time original

[Claudio Novais]

O problema da Oracle sobre o MySQL é que poderá de um momento para o outro mudar de ideias, como fez com o Java por exemplo!! E aí é necessário tomar medidas numa altura que ninguém vai estar à espera e poderá haver um período de não evolução para que um Fork nasça.

[Bitetti]

Acho que a própria atitude do twitter evidência que caso haja alguma "piração" por parte da Oracle um fork nascerá quase que imediatamente. O número de usuários dele é enorme.

Mesmo porque seria idiotice da Oracle pegar má fama ao mudar drasticamente o segundo banco de dados mais usado no mundo (ele só perde pro SQLite que muita gente aqui carrega no bolso em seus smartfones), haja exemplo da MS com suas atualizações de software.

E qualquer mudança nos termos de uso também não são preocupantes, a maioria dos webservers hoje dão suporte a outros bancos.

[lromanzini]

Há mais por aí. Existe este carinha aqui, o MariaDB (http://mariadb.org/) que, segundo o site, foi desenvolvido por um dos autores originais do MySQL. Descobri há pouco tempo e ainda não brinquei com ele. Mas, vai que é bom :-)

[Claudio Novais]

Se foi desenvolvido por um dos autores, é algo que devemos considerar como uma boa hipótese ou até como uma ameaça ao próprio MySQL. A verdade é que com o que se passou o Java (mudança das licenças que não deixa por exemplo o Ubuntu vir com isso instalado) fez com que as pessoas ficassem reticentes sobre este assunto.

[marcos.vargens]

Infelizmente o MariaDB é bem desconhecido e dificilmente vai conquistar os adeptos do MySql, mas caso a Oracle "pire", eles podem focar nele já que foi criado por um dos desenvolvedores. Mas essa onde de que a Oracle vai matar tudo está passando. Mesmo a proibição do java vir no linux é uma coisa tão pequena que só quem quer fazer tempestade em copo dágua liga para isto. O java nunca veio no Windows ou MAC, pode ser baixado no site gratuitamente. As versões que vinham nas distribuições linux sempre estãvam desatualizadas. Eu sempre baixava do site. E ainda pode-se usar o OpenJDK que tem seus problemas, mas será a referência que a Oracle vai usar daqui para frente para fabricar a VM dela. A única encrenca que eu ví até agora foi O OpenOffice, que já se arrastava em brigas com a SUN. E agora lascou de vez. Aliás, serve de lição para ela não mexer no MySQL.