Sep 27 2007

Pedido de desculpas e atualização

Arquivado em: Institucional, Status

Antes de mais nada, eu preciso pedir desculpas a todos os clientes da PortoFácil pelas paradas involuntárias dos últimos dois dias. Sem ficar chorando as pitangas por muito tempo, devo dizer que mais do que qualquer cliente eu senti na pele o desespero de ver as suas contas inacessíveis durante tanto tempo.

Contudo, a transparência é uma das marcas registradas da PortoFácil, e vamos agora explicar o que aconteceu, quais foram as medidas tomadas, e o que os usuários afetados pelas novas medidas devem fazer para adequarem-se ao novo perfil. E, sim, vou contar no finalzinho o que eu ainda não fiz mas devo fazer.

Em primeiro lugar, as causas do problema.

Todo o problema de capacidade de processamento se manifestou devido ao SpamAssassin, o software de detecção e remoção de spam que utilizamos no servidor (assim como a maioria dos hosts — o SpamAssassin tornou-se um padrão no mercado). Contudo, ele é conhecido por não ser muito amigável com o processador, mas como a gente tinha máquina de sobra para uma utilização normal, ele não preocupava.

Contudo, uma das contas passou a receber um volume absurdo de spam e trojans. Algo fora do comum. Para dar uma idéia, a utilização do link no sentido de fora para dentro costuma ser na casa de 300kbps, 500kpbs nos momentos de pico; enquanto essa conta estava sendo atacada a média do tráfego de entrada aumentou para 4Mbps, com picos de 10Mbps!

Inicialmente tentamos o mais óbvio: remover a conta para outro servidor (socamos a coitada lá na DreamHost, e mesmo sem entender o que está acontecendo ela está aceitando bem a mudança). Não resolveu porque o nome do domínio continuava respondendo no nosso IP, e o bombardeio continuava vindo. Isso foi na segunda-feira.

Essa situação nos levou à principal medida para solução desse caos: a antecipação da aquisição da segunda máquina. Como não tínhamos conquistado os clientes necessários para bancar a máquina, contatamos os clientes que mais pagavam mensalidade e fizemos uma proposta: convidamo-los a pagar o dobro do que já pagavam para terem direito a, praticamente, meio novo servidor. Os caras toparam! Não é à toa que eu digo que meus clientes são VIPs!

Servidor encomendado, tudo pago (graças a um cara sensacional, que não mede esforços para ajudar) começou o segundo calvário, o de esperar pelo novo servidor. Nesse ínterim fomos identificando os IPs que mais nos atacavam e bloqueando-os diretamente no firewall. No meio da tarde as coisas já estavam menos tristes, e tivemos uma noite bem tranqüila, embora eu a tenha passado acordado, monitorando o servidor e aguardando que o datacenter entregasse a nova máquina.

Terça-feira, e os problemas recomeçam por volta das 14h. Quem estava mais próximo sabe que eu até pensei em desistir da minha vocação de sysadmin, mas fui tocando. Num dado momento aconteceu o pior: o consumo de CPU foi tão alto que o servidor travou, requerendo um reset. Acontece que os sistemas Unix têm uma característica: após um determinado número de resets ele força um fsck, ou checagem do sistema de arquivos; e enquanto o fsck não for concluído, o sistema não fica online novamente. Adivinhe quando foi que o fsck resolveu manifestar-se no nosso servidor? Pois é, exatamente, mas por acesso remoto era impossível de saber o que estava acontecendo.

Para piorar, os técnicos do datacenter fizeram o favor (e nós achávamos que era mesmo um favor) de ficar resetando o servidor de um em um minuto. Só que como o fsck não tinha sido concluído, na volta ele reiniciava do zero, fazendo com que o servidor não voltasse online nunca! Só quando um técnico mais qualificado foi lá, pessoalmente verificar o servidor, é que soubemos por ele o que estava rolando exatamente.

A essa altura dos fatos, que estou resumindo porque ninguém quer reviver todas essas emoções novamente, o servidor voltou a funcionar, o ataque de spam e trojans arrefeceu, e — aleluia! — o datacenter entregou a nova máquina, novinha em folha (com um atraso de muitas horas).

Configurei a nova máquina em tempo récorde, quase surtei esperando a compilação do Apache e do PHP, e então tive de ser extremamente antipático outra vez: para poder fazer a transferência das contas dos santos que toparam bancar o novo servidor eu tive de, mais uma vez, tirar uma série de contas de funcionamento.

Pois bem, por volta da meia-noite de quarta-feira a transferência estava concluída e os dois servidores rodando macio feito o carro dos ursinhos carinhosos. Só faltava o pior: pedir aos clientes para trocar os DNSs nos seus registrars.

Mentira minha! :D

Para os clientes que tiveram suas contas migradas para o novo servidor não é necessário mexer em DNSs, pois eu fiz a reconfiguração de cada zona individualmente, de forma a agilizar a propagação dos DNSs e evitar mão de obra desnecessária aos donos dos domínios.

Para quem migrou para o novo servidor (não é muita gente, mas fica a informação em aberto) deve usar a seguinte URL para acesso ao painel de controle de revenda: http://63.246.140.40:2086. Os nomes de usuários e as senhas permanecem (exceto para aquele santo que às duas da manhã não conseguia acessar o cPanel, e eu troquei umas senhas dele — desculpa o mau jeito, brother).

Contudo, ainda não está concluída a migração. Os ocupantes do novo servidor já estão instalado e chutando bundas, os IPs da rede zumbi praticamente todos bloqueados, ou então atacando a DreamHost, e para os clientes está tudo resolvido. Os ocupantes da nova máquina só terão que me contatar caso precisem criar algum novo domínio, devido ao que vou explicar a seguir.

Na condição de sysadmin eu ainda preciso resolver umas questões menores de DNS e nome de host da nova máquina, configurar o registro PTR dela, configurar o cluster de DNSs para não precisar fazer à mão as modificações, e o principal: achar uma alternativa ao SpamAssassin, que seja fácil de integrar ao cPanel, consuma menos CPU e que, se possível, seja mais eficiente.

Há uns quatro anos eu usei em um servidor que mantinha o ASSP, que funcionava com pouca exigência de memória e de processador. Agora, dois dias e duas noites sem dormir, só quero terminar este “relatório” (que vai sem revisão, deve estar cheio de erros de gramática e ortografia, mas quem liga?) para poder ir tomar um banho e dormir um pouco.

Mais uma vez, peço desculpas pelo contratempo, e agradeço pela paciência e pela colaboração. Clientes como os meus não se encontram em qualquer lugar, capazes de enfrentar a dificuldade juntos, fazendo companhia e buscando soluções comigo; mesmo aqueles que não se manifestaram, e suportaram quietinhos a angústia de ver que seu site não estava online. Valeu mesmo, gente. Agora é nova página pra gente.

E com licença que caiu um cisco aqui no meu olho, deve ser coisa de quem passa mais de 40h acordado…


Textos relacionados a este:

5 Responses to “Pedido de desculpas e atualização”

  1. Lu Monteon 27 Sep 2007 at 13:00

    Quietinha, mas arrancando os cabelos! Ainda bem que você conseguiu resolver o pepino, Janio. Desejo muitas noites bem-dormidas de sono para você e sites no ar para nós. E morte aos spammers - uma morte lenta e muito, muito dolorosa.

    [Reply]

  2. Fabioon 27 Sep 2007 at 16:45

    É, cara, o bicho pegou. Mas graças a Deus tudo se normalizou. Espero que entre mortos e feridos tenham se salvado todos. Afinal, tu fez tudo que podia e mais um pouco. Fomos além do que podia.

    Grande abraço!

    [Reply]

  3. MaxRavenon 27 Sep 2007 at 20:44

    Caracas, fazia tempo que não lia um relato desses, fico aqui imaginando a angustia e desespero do Janio.
    Mas só queria deixar meus parabéns, pois são poucos que falam assim, abertamente para qualquer um ler, sobre os problemas que passou, geralmente colocam lá de baixo do tapete. Quando um possível cliente vai buscar informações sobre a empresa só ve as historias bonitas e cor de rosa, depois que se instala acaba vendo a real, por isso acho que fiz a escolha certa.
    Parabéns Janio pela transparência.

    [Reply]

  4. Alexandre Rautaon 28 Sep 2007 at 09:39

    Você é o cara….

    abração e bom descanso…

    [Reply]

  5. Quintinoon 28 Sep 2007 at 12:26

    Me sinto até mal em quase ter saído (assumo, tava procurando outro)… mas não consigo mais me imaginar em um host que não tenha o SAC da Porto Fácil…

    [Reply]

Trackback URI | Comments RSS

Leave a Reply

É proibida a reprodução do conteúdo deste site sem prévia autorização por escrito do autor. Citações de no máximo um parágrafo acompanhadas do link para o texto original são permitidas sem necessidade de autorização escrita.