Access denied [Wyszukiwarka wyłączona]

[Kamil Mazur]

Nie działa przycisk "zobacz posty od ostatniej wizyty". - pisze że "Acces denied".

[Almandyn]

Wyszukiwarka też nie działa - ten sam komunikat

[Marek Przewoźny]

U mnie też ten sam komunikat IE 8.0

[Tawulec]

Czyli u wszystkich

[Damian Bruder]

u lisidła to samo

[admin]

Chwilowo zostala wyłaczona wyszukiwarka na całym serwerze - pojawily sie jakieś błedy w sql. W nocy problem powinien zostać usunięty. Za utrudnienia przepraszam.

[Aneta]

Nie wiem jak u was, ale u mnie problem wrócił - i z nieprzeczytanymi, i z szukajką...

[Marek Przewoźny]

Potwierdzam wrócił problem

[Andrzej J. Woźnica]

poczekamy

[Almandyn]

Ciągle ten sam komunikat

[admin]

Pojawił się problem z wyszukiwarką, która generuje bardzo dziwne zapytania obciążające serwer sql. Wyszukiwarka została więc wyłaczona, a serwis (obsługa serwera) diagnozuje problem, co moze byc przyczyną.

Może to potrwać od kilku do kilkunastu godzin, o ile uda znaleźć się przyczynę.


Zapytanie do serwera SQL zajmuje 0,5MB! i ma taką postać:

Kod: Zaznacz cały

SELECT p.post_id \n\t\t\t\t\t\tFROM (phpbb_posts p, phpbb_forums f)\n\t\t\t\t\t\tWHERE p.post_id IN (15, 11, 13, 16, 165, 20, 21, 22, 23, 24, 26, 29, 30, 31, 32, 33, 34, 36, 37, 38, 39, 40, 41, 43, 44, 45, 46, 176, 48, 49, 50, 51, 52, 53, 60, 164, 62, 64, 65, 66, 67, 68, 69, 70, 86,

[........] 

101928, 101929, 101930, 101931, 101932, 101933, 101934, 101935, 101936,
101937, 101938, 101939, 101940, 101941, 101942, 101943, 101944, 101945,
101946, 101947, 101948, 101949, 101950, 101951, 101952, 101953, 101954,
101955, 101956) 
AND f.forum_id = p.forum_id AND  f.forum_id IN (26, 22, 85, 32,
86, 87, 67, 76, 89, 66, 93, 94, 95, 96, 108, 97, 47, 24, 90, 27,
98, 105, 68, 103, 53, 101, 115, 102, 117, 118, 119, 116, 104, 52,
72, 65, 111, 120, 106, 100, 25, 69, 74, 109, 112, 62, 77, 78, 71,
[........] 

Jeśli ktoś z czytających zna serwery SQL, phpBB i kojarzy co mogłoby być przyczyną proszę o kontakt. Podejrzenia są na tabelę session zastanawiam się teraz czy pochodzą z "zewnatrz" czy z "wewnątrz".

[Malko]

Wczoraj wszystko było dobrze dwa dni temu miałem problem i dzisiaj też się pojawił Powodzenia Adminie zwalcz to

[Rafał Celadyn]

Nie wiem czy to ważne, ale przy próbie dodania załącznika pojawia się taki komunikat :

"Niestety Limit na wszystkie załączniki na tym forum został przekroczony. Prosze skontaktować się z administratorem forum"

Niestety nie wiem czy to skutek ,czy przyczyna problemów ...
Pozdrawiam Rafał.

[Marek Hołowiński]

"Niestety Limit na wszystkie załączniki na tym forum został przekroczony. Prosze skontaktować się z administratorem forum"

Mam to samo

[admin]

Problem załączników został rozwiązany - być może to miało znaczenie, zobaczymy wkrótce.

[admin]

Problem wyszukiwarki zostal rozwiązany, w tej chwili już wszystko działa. Przez kolejne dni bedziemy szukać przyczyny. jesli pojawią się jakieś problemy prosze pisać,
pozdrawiam!

[Piszczałka]

Access denied

znowu

[admin]

Tak znów. W dalszym ciągu nie wiadomo, co powoduje zatrzymania serwera SQL. Już wiadomo, ze to nie są roboty.
Coś się psuje na serwerze i trzeba to znaleźć. Kilka osób siedzi nad tym i jest problem, który prędzej czy później zostanie rozwiązany. Tymczasem proszę uzbroić się w cierpliwość i mocne nerwy

Przy okazji w tym wszystkim chciałbym złożyć szczere kondolencje wszystkim powodzianom! Od kilku dni z przerażeniem obserwuję tę sytuację i to wszystko jest przerażające.

[admin]

Wygląda jednak na to, ze błąd powrócił. Przez kilka dni nie będzie działało wyszukiwanie i inne funckcje związane z plikiem search.php.

Jest kilka innych sposobów wyszukiwania wiadomości:

- Forum NEWS https://entomo.pl/forum_news.php.
- kanały RSS viewtopic.php?t=11938
- wyszukiwarka na głównej stronie entomo.pl (to Google, które wyświetlają zawartość tego serwisu)

PS. No i oczywiście strona PORTAL-u portal.php
na której ładnie widać nowe tematy.

[Marek Przewoźny]

jeszcze można rozwinąć sobie główną stronę forum w preferencjach do postaci drzewa i wtedy podfora z tematami nowymi i tematy z nowymi wiadomościami są zaznaczone pomarańczową ikonką z lewej strony a z prawej jest ile nowych wiadomości i tematów w danym podforum.

[admin]

Słuszna uwaga - mozna sobie samemu ustawić sposób wyswietlania Forum w Preferencjach (na dole po prawo, na głównej stronie Forum).

[Robert Zoralski]

Jacku, dopiero przeczytałem post. Wiem, że namierzenie tego typu błędu może być kłopotliwe , ale na ile mi informatyczny nos pozwoli to spróbuję wskazać co może być nie tak.

1. Indeks wyszukiwarki.
Najpierw spróbowałbym odbudować od początku indeks wyszukiwarki. Gdzieś to jest w panelu administracyjnym phpbb, chyba tu:
Konserwacja -> Indeks wyszukiwarki
To może zająć chyba nawet kilka godzin, ale nie jestem pewien.

2. Optymalizacja bazy danych
Wydaje mi się, że zapytanie SQL, które podałeś (jeśli chodzi o jego składnię) jest normalne i nie ma tu żadnego błędu po stronie phpbb, ani nie jest to żaden atak z zewnątrz ani nic takiego. Tzn. nie nastąpiła nagle jakaś awaria. To efekt skali o czym świadczy zakres identyfikatorów (do 100tys postów). Jeśli to zapytanie ma 0,5MB (rozumiem, że waga tego zapytania zmienia sie w zależności od wyszukiwanej frazy) to wykonanie takiego zapytania przez któregokolwiek z użytkowników spowoduje co najmniej zadyszkę serwera bazy danych, a w ostateczności zablokuje go na amen - im popularniejsza fraza tym dłużej. Widziałem, że niedawno robiona była przebudowa w drzewie samych forów (tzn. np: chrząszcze zostały rozbite rodzinami) wraz z przenoszeniem wątków. To może być pośrednią przyczyną tego kłopotu, tzn. indeksy w bazie mogły stać się mocno nieoptymalne. Oczywiście duża odwiedzalność serwisu i duża ilość użytkowników również.

Skupiłbym wszystkie siły na próbie optymalizacji samej bazy danych. Jak duża ona jest w tej chwili? Poprosiłbym kogoś z obsługi hostingu o zrobienie:
- OPTIMIZE TABLE (http://kb.siteground.com/article/How_to ... Admin.html) przynajmniej tych tabel, które widać w podanym przez Ciebie zapytaniu
- Próba przebudowania indeksów, może w taki drastyczny sposób jak zrzucenie tabel do pliku i stworzenie ich ponownie (http://www.ehow.com/how_5142978_rebuild ... mysql.html). Jest takie polecenie "CHECK TABLE tablename FOR UPGRADE", którym sam mysql potrafi poinformować o tym czy konkretna tabela wymaga już przebudowy indeksów (odpowiedź bazy: "Table upgrade required").

3. Jeśli nic nie pomoże to pozostaje tylko przeniesienie forum, lub wykupienie lepszego hostingu (tzn. więcej pamięci RAM serwera, lub hosting z dedykowany silnym serwerem SQL).


Oczywiście przyczyna może być jeszcze inna, trudno to ocenić, ale takie rzeczy przyszły mi do głowy.

Pozdrawiam
Robert Żóralski

P.S. Oczywiście zawsze pełen backup i jeśli trzeba to nawet wskazane wyłączyć forum na czas takich napraw.

[Grzegorz Banasiak]

Od siebie dodam, że warto sprawdzić wielkość bazy danych i możliwości jakie daje w końcu darmowy MySql. Rozbudowa bazy danych w nieskończoność nie jest możliwa, być może część postów trzeba przesunąć do archiwum ?
Nie wiem ile rekordów mają tabele ale bardziej złożone zapytanie może wygenerować naprawdę duże tabele tymczasowe...

[admin]

Dziekuję za pomoc.

Robert, masz "nosa informatycznego" Ja tez w tej chwili doszedłem do takich samych wnioskow, ze najlepiej, jak zacznę tabele search i po kolei wszystkie pozostałe zakładać jeszcze raz od nowa. To polecenie CHECK TABLE tablename FOR UPGRADE podoba mi się i zrobie to w nocy, zobaczymy co wyjdzie w odpowiedzi (nie znałem tego polecenia).

Podejrzewam, ze coś sie rozsynchronizowało w samej bazie i ona co pewien czas probuje sama sie zsynchronizować. Byc może indeksy, jak piszesz, nie są optymalne, coś się mogło popsuć w mniej widoczny sposób.

W nocy zaindeksuję forum od nowa (wyszukiwarkę, przy przenoszeniu Forum i tak trzeba te tabele usunąc i odtworzyc po). Potem bede kasował pozostałe tabele i stawial je od nowa.
Jesli tu nic pomoże, to bedzie trzeba rozejrzec sie za innym hostingiem rzeczywiscie. Poki co eksperymentalnie moge to postawić na innej maszynie i zobaczyc co sie bedzie działo. Generalnie wszystko "jest dobrze".

Parametry bazy sql w tej chwili są następujące:
Baza Danych: 171.09 MB
największa tabela: phpbb_search_wordmatch 72.2 MB 2 809 423 wpisów (tyle jest słów)

PS. Wykonałem juz polecenia
CHECK TABLE phpbb_search_wordlist FOR UPGRADE dla wszystkich tabel związanych z wyszukiwarką i wszystko jest OK.

[Robert Zoralski]

Jacek. Życzę powodzenia! Najważniejszy punkt b) poniżej, bo mi wychodzi, że to najprawdopodobniej będzie rozwiązanie problemu.


Jeśli chodzi o optymalizację tabel i przebudowę indeksów to kluczowe są tu tabele: phpbb_forums, phpbb_posts, phpbb_search_*. Nie wiem jeszcze jakie tam są tabele główne powiązane. Najlepiej taka kolejność naprawiania jak wynika logicznie z powiązania tabel:
1. odbudowanie indeksów tabeli phpbb_forums
2. odbudowanie indeksów tabeli phpbb_posts
3. dopiero potem odbudowanie indeksu wyszukiwania (przy wcześniejszym wyczyszczeniu tabel phpbb_search_*?). Jakoś tak bym próbował.

Jeśli chodzi o rozmiar całej bazy to jest tu jeszcze mnóstwo zapasu (170MB) tym bardziej, że dane są rozłożone na wiele tabel (t.j. wiele plików). W praktyce bazy danych mysql powyżej 2GB są już dosyć obciążające. To największe bazy danych mysql na jakich pracowałem. Przy wielkościach 1-1,5GB to już niestety trzeba już zaczynać archiwizować część danych do pliku (czyli pożegnać się z nimi na zawsze). Więc tu jest wszystko ok.

Jeśli chodzi o ilość wierszy 2,8mln w tej tabeli od wyszukiwarki to już jest niestety dużo, nawet jeśli waga tej tabeli jest stosunkowo niewielka. Przyszło mi jeszcze coś takiego do głowy. Nie ma przypadkiem jakichś ustawień w panelu administracyjnym, które spowodowałoby zmniejszenie rozmiaru tej tabeli wyszukiwania? Przejrzałem trochę dokumentację do phpbb3 i trochę tam jest trochę rzeczy ustawialnych. Popróbowałbym:
a) włączenie jakiegoś cache'owania wyników wyszukiwania. Znalazłem w dokumentacji coś takiego jak "Search result cache length":
http://www.phpbb.com/support/documentat ... eneral.php
Można by tam eksperymentalnie wpisać jakąś wartość, np: 3600s (=1godz.) i zobaczyć czy się coś poprawi. Może to mieć pozytywny efekt gdy użytkownicy szukają podobnych słów lub wpisują kilka razy to samo w ciągu krótkiego czasu.
b) próba ustawienia by indeksowały się słowa tylko dłuższe niż domyślne 3 litery (może tak 5-6 liter minimalnie). Drastycznie zmniejszyłoby to tabelę wyszukiwarki a co za tym idzie obciążenie zapytaniami. Użytkownicy na pewno by się zgodzili na to, że nie można wyszukiwać słów krótszych niż ileś tam liter. Znalazłem taką wartość: "Min characters indexed by search" w tej dokumentacji. Właściwie ustawienie tego na 5-6 liter, a po tym wyczyszczenie tabel wyszukiwania i przebudowanie indeksu wyszukiwania powinno teoretycznie rozwiązać cały problem.
c) widzę jeszcze jedną zmienną "Enable fulltext updating", którą można ustawić na "No" jeśli wszystko inne zawiedzie. Takie ustawienie to blokada by nowo dopisywane posty nie były już uwzględniane w wynikach wyszukiwania. Niedogodność duża, ale tym sposobem można można by wykluczyć ewentualne jakieś "samosynchronizowanie się co jakiś czas" o którym wspomniałeś, które mogłoby być spowodowane przebudową słów wyszukiwania po pojawieniu się każdego nowego postu.

Pozdrawiam
Robert Żóralski

[admin]

Prawdopodobnie błąd został znaleziony. Odpowiedzialny za całe zamieszanie z SQL był kod w pliku forum_news.php, który zawierał inną liczbę for niż w rzeczywistości. Plik ten został eksperymentalnie zdjęty, natomiast wyszukiwarka będzie włączona do wystapienia pierwszych objawów padaczki SQL
ale mam nadzieje, ze problem został rozwiklany i blokowania sql nie będzie. Jesli wszystko będzie przebiegało wg planu to za 48 godzin włączę całą wyszukiwarkę.

[Jacek Kurzawa]

... i jak widać na razie wszystko hula... sa nadzieje, ze bedzie dobrze, ale trzeba jeszcze poczekac, zeby nie zapeszyć.

[admin]

Problemy trwały łącznie 13 dni - od 14 do 27 maja. Przez kilka dni wyszukiwarka znów działała by od wtorku 25.2010 r przestało działać wszystko.
Dwa dni zajęlo mi przenoszenie Forum na inny serwer, testowanie nowych rozwiązań. Konwersja do najnowszej i stabilnej wersji phpBB (5.3) za drugim razem przebiegła pomyślnie i tak zakończył się pewien rozdział w tym Forum. Od początku jego istnienia przyzwyczailiśmy się do wersji Przemo (inne fora przyrodnicze też mają zainstalowany ten skrypt). Teraz będzie trzeba przyzwyczaić się do tej wersji, która ma wiele zalet w stosunku do poprzedniej. Czas pokaże na ile to wyjdzie na korzyść.

Wyjścia były dwa - gdyby nie ruszyła wersja phpBB3 pozostalibyśmy przy dotychczasowej, ale przeniósłbym całość na inny serwer. Gwarancji na działanie na innym hostingu nie ma, ale szansa jest duża. Teraz pozostaje to już tylko teoretyczną niewykorzystaną możliwością. Sam jestem zadowolony z przejścia na najnowszy skrypt phpBB, jest sporo nowych możliwości, których nie oferowała wersją Przemo, no i najważniejsze, ze ta wersja jest wersją międzynarodową i stabilną.