AI botovi preopterećuju servere Wikipedije

Zaklada Wikimedia izrazila je zabrinutost zbog rastućeg pritiska na svoje servere zbog automatiziranih botova koji skupljaju podatke za treniranje modela umjetne inteligencije.

U nedavnom postu, Zaklada je izvijestila da promet generiran od strane strojeva nastavlja rasti neviđenom brzinom, dok ljudi čine samo mali dio tog prometa.

“Od siječnja 2024. vidjeli smo porast korištene propusnosti za preuzimanje multimedijalnog sadržaja za 50%,” stoji u objavi.

“Ovaj porast ne dolazi od ljudskih čitatelja, već uglavnom od automatiziranih programa koji pretražuju katalog slika Wikimedia Commons s otvoreno licenciranim slikama kako bi hranili AI modele,” dodaje se u objavi.

Botovi poznati kao pretraživači kradu velike količine podataka s Wikimedia projekata, uključujući Wikipediju i Wikimedia Commons, bez odgovarajućeg priznanja ili službenih alata za pristup. Taj proces otežava novim korisnicima otkrivanje Wikimedije i stavlja prevelik pritisak na njihove tehničke sustave.

Na primjer, objava navodi da je Wikipedia stranica Jimmyja Cartera primila više od 2,8 milijuna pregleda na dan kada je preminuo u prosincu 2024. godine. Video snimka njegove rasprave iz 1980. godine uzrokovala je značajan porast prometa na web stranici. Video njegove rasprave iz 1980. godine također je uzrokovao vrhunac prometa. Wikimedia se s tim nosio – ali jedva. Pravi problem prema inženjerima je kontinuirani protok bot prometa.

“65% našeg najskupljeg prometa dolazi od botova,” napisala je Zaklada. Botovi “masovno čitaju” sadržaj, posebno manje popularne stranice, što pokreće skupe zahtjeve prema glavnim podatkovnim centrima Wikimedije.

Iako je sadržaj Wikimedije besplatan za korištenje, njeni serveri to nisu. “Naš je sadržaj besplatan, naša infrastruktura nije,” rekla je Zaklada. Tim nastavlja razvijati metode za promicanje “odgovorne upotrebe infrastrukture” potičući developere na korištenje API-ja umjesto struganja cijele stranice.

Problem utječe na Wikimedia kao i na brojne druge web stranice i izdavače. No, za najveću svjetsku platformu otvorenog znanja, ona ugrožava stabilnost usluga na koje se oslanjaju milijuni.