Incepind cu ora 17H00, ne confruntam cu anumite disfunctionalitati la nivelul bazelor de date. O corectie temporara este in curs de aplicare urmind ca pentru corectia definitiva sa alegem o plaja orara in cursul noptii de sambata spre duminica.

Ne cerem scuze pentru eventualele neplaceri si va multumim pentru intelegere.

Gasca Trilulilu

Un nou tip de motor de cautare este in curs de testare. Pe toata durata acestor teste, vor aparea situatii in care veti primi din cind in cind mesaje de eroare sau serverul de cautare nu va fi indisponibil pentru perioade scurte de timp (sub un minut). In caz de probleme majore, se va trece automat la vechiul motor de cautare.

Ce aduce nou motorul de cautare:
- o mai buna pertinenta a rezultateor
- un desgin nou al paginii de rezultate din care vor disparea categoriile.

Pe toata durata testelor, vor fi impuse urmatoarele limitari:
- se vor afisa doar primele 500 de raspunsuri (30 pagini).
- se pot folosi pana la 15 cuvinte cheie.

Din punct de vedere functional, se vor indexa in continuare titlul si cuvintele cheie (tags) asociate unui fisier. Cu aceasta ocazie, dorim sa va reamintim importanta utilizarii unui titlu si cuvinte cheie care sa descrie cat mai bine fiecare fisier pe care il uploadati pe Trilulilu. Este inutil sa specificati cuvinte cheie tip ‘xxx’, ‘marfa’, ‘genial’ … Incercati sa fiti cit mai la subiect astfel incit fisierul vostru sa fie gasit usor.

Distractie placuta,
Gasca Trilulilu

In urma problemelor recurente de acces la mesageria interna, vom incepe de luni sa lucram la optimizarea ei. In mod normal, optimizarea va dura toata ziua de luni si probabil unele corective in cursul zilei de marti. Estimam ca de miercuri dimineata incolo, problemele de acces la mesagerie vor fi rezolvate definitiv.

Va multumim pentru rabdare si intelegere,
Gasca Trilulilu

PS: Acesta optimizare era deja prevazuta in urma operatie de migrare, detalii aici.

In cursul zilei de miercuri mesageria va fi indisponibila pentru circa 20 de minute.

Va multumim pentru intelegere,
Gasca Trilulilu

UPDATE: prima tentativa abandonata dupa 48 de minute. Backup-ul bazelor de date dureaza extrem de mult. Trecem la varianta numarul 2.

UPDATE: totul e in regula, baza de date a fost reimportata cu succes in noul server. Rulam mici verificari inainte de a da drumul din nou la mesagerie.

UPDATE: operatie terminata. Vor aparea din timp in timp probleme in urmatoarele 30-45 de minute.

CONCLUZIE:
- estimare timp initial eronata din cauza faptului ca baza de date totala are peste 10GB (19,546,789 de mesaje).
- o noua optimizare e necesara, studiem posibilitatile existente pentru a reduce dimensiunea bazei de date si scaderea drastica a timpilor de backup si a timpilor necesari operatiilor de mentenanta (batch-uri de curatare a datelor).

Am revenit cu un răspuns în legătură cu hard disk-urile deteriorate care au dus la pierderea a câteva mii de fișiere de pe site. Disk-urile au ajuns în cele din urmă la o firmă din Germania care a încercat recuperarea lor. Cu toate că am sperat până în ultimul moment că situația poate fi rezolvată, răspunsul primit de la ei a fost unul negativ. Din păcate hard disk-urile au fost într-atât de avariate încât datele de pe ele nu au mai putut fi recuperate. Aveți mai jos răspunsul oficial pe care l-am primit. Există și un job number care poate fi verificat în caz de nevoie.

Știm că o parte din voi ați pierdut multe fișiere care până la urmă reprezintă aportul vostru la creșterea comunității și a site-ului în sine. Ne pare nespus de rău pentru problemele pe care această situație nefericită le-a provocat și ne cerem scuze dacă în vreun fel sau altul acest lucru v-a împiedicat să aveți parte de o experiență plăcută pe Trilulilu. Din păcate există și lucruri pe care nu le putem controla.

Acest eveniment a fost pentru noi o lecție care ne va ajuta  să vă oferim servicii mai bune și de asemenea să fim mai atenți la lucrurile neprevăzute care pot apărea pe parcurs. Suntem la fel de implicați în proiect ca și până acum și la fel de dornici în a vă oferi un loc unde să puteți avea parte de lucruri cât mai Trilulilu alături de prieteni.

Vă mulțumim că sunteți în continuare alături de noi!
Gașca Trilulilu

—–

Răspuns oficial Ontrack Data Recovery:

In cursul zilei de marti 17 februarie 2009, vom migra serverele care distribuie elementele statice: scripturi Javascript/AJAX, imagini, CSS, avatare utilizatori, imagini grupuri, imagini showuri. Pe tot parcursul migrarii, o parte din avatarele utilizatorilor nu vor fi disponibile. De asemenea, pe perioada operatiei, nu veti putea uploada noi imagini in contul vostru.

Operatia de migrare va dura maxim doua zeci si patru de ore astfel incit incepind cu miercuri dimineata, totul va fi in regula.

Va multumim pentru intelegere,
Gasca Trilulilu

Update (17/02/2009 – 22:51): 74 de arhive continind 1,634,732 de imagini ale utilizatorilor Trilulilu cu un volum de total de 184.54 GB au fost transferate pe serverele noi. Batch-uri lansate in timpul noptii vor extrage imaginile din aceste arhive urmind ca in cursul zilei de miercuri sa operam mici corectii (daca va fi cazul).

In cursul noptii a aparut o inconsistenta la nivelul unei baze de date. Pentru a evita probleme ulterioare mult mai serioase, am oprit website-ul pentru a corecta eroarea.

Timpul de indisponibilitate va fi de maxim 30 de minute, pana la ora 13:30.

Va multumim pentru intelegere,
Gasca Trilulilu

13H12: totul e in regula, repornim in 5 minute.

13H16: incident inchis, o placa de retea avea probleme:

Jan 24 04:14:48 kernel: eth2: (PCI Express:2.5GB/s:Width x1) 00:1b:21:21:48:a0
Jan 24 04:14:48 kernel: eth2: Intel(R) PRO/1000 Network Connection
Jan 24 04:14:48 kernel: eth2: MAC: 1, PHY: 4, PBA No: d50854-003
Jan 24 04:14:48 kernel: e1000e 0000:0c:00.0: enabling device (0000 -> 0003)
Jan 24 04:14:48 kernel: PCI: Setting latency timer of device 0000:0c:00.0 to 64
Jan 24 04:14:48 kernel: 0000:0c:00.0: PHY reset is blocked due to SOL/IDER session.
Jan 24 04:14:48 kernel: 0000:0c:00.0: The NVM Checksum Is Not Valid
Jan 24 04:14:48 kernel: e1000e: probe of 0000:0c:00.0 failed with error -5

13H18: website pornit.

În noaptea de 16 spre 17 ianuarie 2009 site-ul va fi inaccesibil datorită mutării echipamentelor într-un nou datacenter. Mutarea va avea loc între orele 00:00 şi 06:00 11:00 (estimare la ora 08H45).

Ne cerem scuze pentru eventualele neplăceri şi vă mulţumim pentru înţelegere.

Gaşca Trilulilu

17 ianuarie 2009, 00H01: operatia a inceput.
17 ianuarie 2009, 00H45: oprire servere, incepe migrarea fizica catre noul datacenter.
17 ianuarie 2009, 06H00: serverele au ajuns in noul datacenter, o mare parte sunt deja in rack. In urmatoarele 30-45 de minute se va incepe repornirea lor.
17 ianuarie 2009, 06H40: verificari in curs pentru fiecare server repornit.
17 ianuarie 2009, 08H35: firmware pus la zi pe toate cele 32 de servere. 4 switch-uri setate (2 WAN, 2 LAN), VLAN-uri facute, trunkuri facute, LACP si STP sunt up, incepem conectarea retelei.
17 ianuarie 2009, 10H30: incepem sa vedem luminita de la capatul tunelului. Vestea buna e ca nu e lumina unui tren care se apropie in viteza Mai avem citeva verificari de facut si apoi ii dam drumul.
17 ianuarie 2009, 10H45: serverele de streaming si embed-urile sunt active.
17 ianuarie 2009, 11H30: mesageria, uploadul, encoderele sunt active.
17 ianuarie 2009, 11H55: websiteul e sus, distractie placuta. Daca intimpinati probleme, va rog sa ne anuntati.

Distractie placuta,
Gasca Trilulilu & Hostway Romania

In urma unor probleme repetate cu o unitate de stocare de date, am fost nevoiti sa dezactivam temporar 77517 de fisiere. Aceste fisiere vor fi copiate pe alte unitati de stocare si vor fi disponibile din nou incepind cu marti dimineata.

UPDATE: Din pacate problema va dura mai mult decat am estimat initial. Nu avem inca o data exacta pentru recuperarea totala a disk-urilor avariate. Intre timp, in contul vostru va aparea o pagina unde veti putea vedea fiecare din voi fisierele pe care e posibil sa le fi pierdut si veti avea posibilitatea de reuploadare a acestora.

UPDATE 2: Fiecare din voi puteti accesa pagina www.trilulilu.ro/fisiere-pierdute pentru a re-uploada fisierele pe care le-ati pierdut. Asta daca nu aveti rabdare sa se intoarca hard diskurile din Austria (credem ca se simt bine la ski )

UPDATE 3: Avem noutati cu privire la recuperarea datelor. Firma din Austria ne-a informat ca vor incepe diagnosticarea lor in aproximativ 4 zile si ca sansele de recuperare a datelor sunt destul de mari. Asadar posibilitatea de a recupera fisierele pierdute exista. Ne cerem scuze pentru neplacerile de pana acum si va multumim pentru intelegere.

Serverul fs101.trilulilu.ro se cam sufoca de citeva zile din cauza lipsei de memorie. Ii vom face un mic upgrade de memorie in 31 decembrie 2008 in jurul orei 17:00. Operatia de mentenanta va dura maxim 15 minute timp in care o parte din fisiere vor fi temporar indisponibile.

Va multumim pentru intelegere,
Gasca Trilulilu