Page MenuHomePhabricator
Paste P9535

Top 100 ruwiki pages parser cache size
ActivePublic

Authored by hoo on Nov 6 2019, 1:12 AM.
Referenced Files
F31021708: raw.txt
Nov 6 2019, 1:12 AM
Subscribers
None
$ cat getParserCacheKeys.sh
#!/bin/bash
articles=()
articles+=('https://ru.wikipedia.org/wiki/Заглавная_страница')
articles+=('https://ru.wikipedia.org/wiki/Служебная:Поиск')
articles+=('https://ru.wikipedia.org/wiki/Мамонтов,_Савва_Иванович')
articles+=('https://ru.wikipedia.org/wiki/Джокер_(фильм,_2019)')
articles+=('https://ru.wikipedia.org/wiki/Феникс,_Хоакин')
articles+=('https://ru.wikipedia.org/wiki/Хеллоуин')
articles+=('https://ru.wikipedia.org/wiki/Джокер_(DC_Comics)')
articles+=('https://ru.wikipedia.org/wiki/Заворотнюк,_Анастасия_Юрьевна')
articles+=('https://ru.wikipedia.org/wiki/Леджер,_Хит')
articles+=('https://ru.wikipedia.org/wiki/Екатерина_II')
articles+=('https://ru.wikipedia.org/wiki/YouTube')
articles+=('https://ru.wikipedia.org/wiki/Леонов,_Алексей_Архипович')
articles+=('https://ru.wikipedia.org/wiki/Кодзима,_Хидэо')
articles+=('https://ru.wikipedia.org/wiki/Россия')
articles+=('https://ru.wikipedia.org/wiki/Special:Search')
articles+=('https://ru.wikipedia.org/wiki/Тунберг,_Грета')
articles+=('https://ru.wikipedia.org/wiki/Чемпионат_Европы_по_футболу_2020')
articles+=('https://ru.wikipedia.org/wiki/Путин,_Владимир_Владимирович')
articles+=('https://ru.wikipedia.org/wiki/Интегрированная_среда_разработки')
articles+=('https://ru.wikipedia.org/wiki/Пушкин,_Александр_Сергеевич')
articles+=('https://ru.wikipedia.org/wiki/Список_умерших_в_2019_году')
articles+=('https://ru.wikipedia.org/wiki/Павел_I')
articles+=('https://ru.wikipedia.org/wiki/Листерман,_Пётр_Григорьевич')
articles+=('https://ru.wikipedia.org/wiki/Ивлеева,_Настя')
articles+=('https://ru.wikipedia.org/wiki/Гуриев,_Сергей_Маратович')
articles+=('https://ru.wikipedia.org/wiki/Джоли,_Анджелина')
articles+=('https://ru.wikipedia.org/wiki/Снюс')
articles+=('https://ru.wikipedia.org/wiki/Элджей')
articles+=('https://ru.wikipedia.org/wiki/ВКонтакте')
articles+=('https://ru.wikipedia.org/wiki/Тёмный_рыцарь')
articles+=('https://ru.wikipedia.org/wiki/Острые_козырьки')
articles+=('https://ru.wikipedia.org/wiki/Москва')
articles+=('https://ru.wikipedia.org/wiki/Княжна_Тараканова')
articles+=('https://ru.wikipedia.org/wiki/Список_фильмов_кинематографической_вселенной_Marvel')
articles+=('https://ru.wikipedia.org/wiki/Первая_мировая_война')
articles+=('https://ru.wikipedia.org/wiki/Плато,_Жозеф')
articles+=('https://ru.wikipedia.org/wiki/Форт_Бойяр')
articles+=('https://ru.wikipedia.org/wiki/Ди_Каприо,_Леонардо')
articles+=('https://ru.wikipedia.org/wiki/Эффект_Даннинга_—_Крюгера')
articles+=('https://ru.wikipedia.org/wiki/Лермонтов,_Михаил_Юрьевич')
articles+=('https://ru.wikipedia.org/wiki/Юмашева,_Инга_Альбертовна')
articles+=('https://ru.wikipedia.org/wiki/Одноклассники_(социальная_сеть)')
articles+=('https://ru.wikipedia.org/wiki/Покров_Пресвятой_Богородицы')
articles+=('https://ru.wikipedia.org/wiki/Синдром_Аспергера')
articles+=('https://ru.wikipedia.org/wiki/Михайлов,_Александр_Яковлевич_(актёр)')
articles+=('https://ru.wikipedia.org/wiki/Уокер,_Пол')
articles+=('https://ru.wikipedia.org/wiki/Феникс,_Ривер')
articles+=('https://ru.wikipedia.org/wiki/Караченцов,_Николай_Петрович')
articles+=('https://ru.wikipedia.org/wiki/Украина')
articles+=('https://ru.wikipedia.org/wiki/Титаник')
articles+=('https://ru.wikipedia.org/wiki/Служебная:Свежие_правки')
articles+=('https://ru.wikipedia.org/wiki/Криштиану_Роналду')
articles+=('https://ru.wikipedia.org/wiki/Сталин,_Иосиф_Виссарионович')
articles+=('https://ru.wikipedia.org/wiki/Кинематографическая_вселенная_Marvel')
articles+=('https://ru.wikipedia.org/wiki/Малефисента_(фильм)')
articles+=('https://ru.wikipedia.org/wiki/Мэнсон,_Чарльз')
articles+=('https://ru.wikipedia.org/wiki/Пётр_I')
articles+=('https://ru.wikipedia.org/wiki/250_лучших_фильмов_по_версии_IMDb')
articles+=('https://ru.wikipedia.org/wiki/Zivert')
articles+=('https://ru.wikipedia.org/wiki/Соединённые_Штаты_Америки')
articles+=('https://ru.wikipedia.org/wiki/Санкт-Петербург')
articles+=('https://ru.wikipedia.org/wiki/Ломоносов,_Михаил_Васильевич')
articles+=('https://ru.wikipedia.org/wiki/Захаров,_Марк_Анатольевич')
articles+=('https://ru.wikipedia.org/wiki/Тимати')
articles+=('https://ru.wikipedia.org/wiki/Дифтерия')
articles+=('https://ru.wikipedia.org/wiki/Новосибирск')
articles+=('https://ru.wikipedia.org/wiki/Death_Stranding')
articles+=('https://ru.wikipedia.org/wiki/Call_of_Duty:_Modern_Warfare_(игра,_2019)')
articles+=('https://ru.wikipedia.org/wiki/Европейский_союз')
articles+=('https://ru.wikipedia.org/wiki/Кубок_мира_по_шахматам_2019')
articles+=('https://ru.wikipedia.org/wiki/Великобритания')
articles+=('https://ru.wikipedia.org/wiki/Готт,_Карел')
articles+=('https://ru.wikipedia.org/wiki/Ленин,_Владимир_Ильич')
articles+=('https://ru.wikipedia.org/wiki/Александрова,_Марина_Андреевна')
articles+=('https://ru.wikipedia.org/wiki/Чемпионат_Европы_по_футболу_2020_(отборочный_турнир)')
articles+=('https://ru.wikipedia.org/wiki/Малефисента:_Владычица_тьмы')
articles+=('https://ru.wikipedia.org/wiki/Зеленский,_Владимир_Александрович')
articles+=('https://ru.wikipedia.org/wiki/Википедия')
articles+=('https://ru.wikipedia.org/wiki/Amazon')
articles+=('https://ru.wikipedia.org/wiki/Гитлер,_Адольф')
articles+=('https://ru.wikipedia.org/wiki/Елизавета_II')
articles+=('https://ru.wikipedia.org/wiki/Обсессивно-компульсивное_расстройство')
articles+=('https://ru.wikipedia.org/wiki/Петров,_Александр_Андреевич_(актёр)')
articles+=('https://ru.wikipedia.org/wiki/Тедеско,_Доменико')
articles+=('https://ru.wikipedia.org/wiki/Роднина,_Ирина_Константиновна')
articles+=('https://ru.wikipedia.org/wiki/Германия')
articles+=('https://ru.wikipedia.org/wiki/Казахстан')
articles+=('https://ru.wikipedia.org/wiki/Окно_Овертона')
articles+=('https://ru.wikipedia.org/wiki/Терминатор:_Тёмные_судьбы')
articles+=('https://ru.wikipedia.org/wiki/Вторая_мировая_война')
articles+=('https://ru.wikipedia.org/wiki/Бетербиев,_Артур_Асильбекович')
articles+=('https://ru.wikipedia.org/wiki/Маск,_Илон')
articles+=('https://ru.wikipedia.org/wiki/Форт_Боярд_(русская_версия)')
articles+=('https://ru.wikipedia.org/wiki/Бэтмен')
articles+=('https://ru.wikipedia.org/wiki/Китай')
articles+=('https://ru.wikipedia.org/wiki/Мстители:_Финал')
articles+=('https://ru.wikipedia.org/wiki/Американская_история_ужасов')
articles+=('https://ru.wikipedia.org/wiki/Шварценеггер,_Арнольд')
articles+=('https://ru.wikipedia.org/wiki/Пугачёв,_Емельян_Иванович')
articles+=('https://ru.wikipedia.org/wiki/Знаки_зодиака')
for article in "${articles[@]}"; do
curl -s "$article" | awk '/Saved in parser cache with key/ { print $8 }'
done
$ bash getParserCacheKeys.sh | paste -s -d "#"
[…]
$ ssh mwmaint1002.eqiad.wmnet
$ mwscript eval.php --wiki ruwiki
> $pcCacheStorage = ParserCache::singleton()->getCacheStorage();
> $cacheKeys = […]
>
> foreach ( $cacheKeys as $key ) { $data = $pcCacheStorage->get( $key ); if ( !$data ) continue; echo 'gzdeflate (SqlBagOStuff): ' . strlen(gzdeflate(serialize($data))); echo '; gzcompress-9 (MemcachedClient): ' . strlen(gzcompress(serialize($data), 9)) . PHP_EOL; }
[…]
$ cat | awk '{print $3$6}' > data.csv