Page Menu
Home
Phabricator
Search
Configure Global Search
Log In
Files
F31021708
raw.txt
No One
Actions
View File
Edit File
Delete File
View Transforms
Subscribe
Mute Notifications
Award Token
Flag For Later
Authored By
hoo
Nov 6 2019, 1:12 AM
2019-11-06 01:12:45 (UTC+0)
Size
8 KB
Referenced Files
None
Subscribers
None
raw.txt
View Options
$ cat getParserCacheKeys.sh
#!/bin/bash
articles=()
articles+=('https://ru.wikipedia.org/wiki/Заглавная_страница')
articles+=('https://ru.wikipedia.org/wiki/Служебная:Поиск')
articles+=('https://ru.wikipedia.org/wiki/Мамонтов,_Савва_Иванович')
articles+=('https://ru.wikipedia.org/wiki/Джокер_(фильм,_2019)')
articles+=('https://ru.wikipedia.org/wiki/Феникс,_Хоакин')
articles+=('https://ru.wikipedia.org/wiki/Хеллоуин')
articles+=('https://ru.wikipedia.org/wiki/Джокер_(DC_Comics)')
articles+=('https://ru.wikipedia.org/wiki/Заворотнюк,_Анастасия_Юрьевна')
articles+=('https://ru.wikipedia.org/wiki/Леджер,_Хит')
articles+=('https://ru.wikipedia.org/wiki/Екатерина_II')
articles+=('https://ru.wikipedia.org/wiki/YouTube')
articles+=('https://ru.wikipedia.org/wiki/Леонов,_Алексей_Архипович')
articles+=('https://ru.wikipedia.org/wiki/Кодзима,_Хидэо')
articles+=('https://ru.wikipedia.org/wiki/Россия')
articles+=('https://ru.wikipedia.org/wiki/Special:Search')
articles+=('https://ru.wikipedia.org/wiki/Тунберг,_Грета')
articles+=('https://ru.wikipedia.org/wiki/Чемпионат_Европы_по_футболу_2020')
articles+=('https://ru.wikipedia.org/wiki/Путин,_Владимир_Владимирович')
articles+=('https://ru.wikipedia.org/wiki/Интегрированная_среда_разработки')
articles+=('https://ru.wikipedia.org/wiki/Пушкин,_Александр_Сергеевич')
articles+=('https://ru.wikipedia.org/wiki/Список_умерших_в_2019_году')
articles+=('https://ru.wikipedia.org/wiki/Павел_I')
articles+=('https://ru.wikipedia.org/wiki/Листерман,_Пётр_Григорьевич')
articles+=('https://ru.wikipedia.org/wiki/Ивлеева,_Настя')
articles+=('https://ru.wikipedia.org/wiki/Гуриев,_Сергей_Маратович')
articles+=('https://ru.wikipedia.org/wiki/Джоли,_Анджелина')
articles+=('https://ru.wikipedia.org/wiki/Снюс')
articles+=('https://ru.wikipedia.org/wiki/Элджей')
articles+=('https://ru.wikipedia.org/wiki/ВКонтакте')
articles+=('https://ru.wikipedia.org/wiki/Тёмный_рыцарь')
articles+=('https://ru.wikipedia.org/wiki/Острые_козырьки')
articles+=('https://ru.wikipedia.org/wiki/Москва')
articles+=('https://ru.wikipedia.org/wiki/Княжна_Тараканова')
articles+=('https://ru.wikipedia.org/wiki/Список_фильмов_кинематографической_вселенной_Marvel')
articles+=('https://ru.wikipedia.org/wiki/Первая_мировая_война')
articles+=('https://ru.wikipedia.org/wiki/Плато,_Жозеф')
articles+=('https://ru.wikipedia.org/wiki/Форт_Бойяр')
articles+=('https://ru.wikipedia.org/wiki/Ди_Каприо,_Леонардо')
articles+=('https://ru.wikipedia.org/wiki/Эффект_Даннинга_—_Крюгера')
articles+=('https://ru.wikipedia.org/wiki/Лермонтов,_Михаил_Юрьевич')
articles+=('https://ru.wikipedia.org/wiki/Юмашева,_Инга_Альбертовна')
articles+=('https://ru.wikipedia.org/wiki/Одноклассники_(социальная_сеть)')
articles+=('https://ru.wikipedia.org/wiki/Покров_Пресвятой_Богородицы')
articles+=('https://ru.wikipedia.org/wiki/Синдром_Аспергера')
articles+=('https://ru.wikipedia.org/wiki/Михайлов,_Александр_Яковлевич_(актёр)')
articles+=('https://ru.wikipedia.org/wiki/Уокер,_Пол')
articles+=('https://ru.wikipedia.org/wiki/Феникс,_Ривер')
articles+=('https://ru.wikipedia.org/wiki/Караченцов,_Николай_Петрович')
articles+=('https://ru.wikipedia.org/wiki/Украина')
articles+=('https://ru.wikipedia.org/wiki/Титаник')
articles+=('https://ru.wikipedia.org/wiki/Служебная:Свежие_правки')
articles+=('https://ru.wikipedia.org/wiki/Криштиану_Роналду')
articles+=('https://ru.wikipedia.org/wiki/Сталин,_Иосиф_Виссарионович')
articles+=('https://ru.wikipedia.org/wiki/Кинематографическая_вселенная_Marvel')
articles+=('https://ru.wikipedia.org/wiki/Малефисента_(фильм)')
articles+=('https://ru.wikipedia.org/wiki/Мэнсон,_Чарльз')
articles+=('https://ru.wikipedia.org/wiki/Пётр_I')
articles+=('https://ru.wikipedia.org/wiki/250_лучших_фильмов_по_версии_IMDb')
articles+=('https://ru.wikipedia.org/wiki/Zivert')
articles+=('https://ru.wikipedia.org/wiki/Соединённые_Штаты_Америки')
articles+=('https://ru.wikipedia.org/wiki/Санкт-Петербург')
articles+=('https://ru.wikipedia.org/wiki/Ломоносов,_Михаил_Васильевич')
articles+=('https://ru.wikipedia.org/wiki/Захаров,_Марк_Анатольевич')
articles+=('https://ru.wikipedia.org/wiki/Тимати')
articles+=('https://ru.wikipedia.org/wiki/Дифтерия')
articles+=('https://ru.wikipedia.org/wiki/Новосибирск')
articles+=('https://ru.wikipedia.org/wiki/Death_Stranding')
articles+=('https://ru.wikipedia.org/wiki/Call_of_Duty:_Modern_Warfare_(игра,_2019)')
articles+=('https://ru.wikipedia.org/wiki/Европейский_союз')
articles+=('https://ru.wikipedia.org/wiki/Кубок_мира_по_шахматам_2019')
articles+=('https://ru.wikipedia.org/wiki/Великобритания')
articles+=('https://ru.wikipedia.org/wiki/Готт,_Карел')
articles+=('https://ru.wikipedia.org/wiki/Ленин,_Владимир_Ильич')
articles+=('https://ru.wikipedia.org/wiki/Александрова,_Марина_Андреевна')
articles+=('https://ru.wikipedia.org/wiki/Чемпионат_Европы_по_футболу_2020_(отборочный_турнир)')
articles+=('https://ru.wikipedia.org/wiki/Малефисента:_Владычица_тьмы')
articles+=('https://ru.wikipedia.org/wiki/Зеленский,_Владимир_Александрович')
articles+=('https://ru.wikipedia.org/wiki/Википедия')
articles+=('https://ru.wikipedia.org/wiki/Amazon')
articles+=('https://ru.wikipedia.org/wiki/Гитлер,_Адольф')
articles+=('https://ru.wikipedia.org/wiki/Елизавета_II')
articles+=('https://ru.wikipedia.org/wiki/Обсессивно-компульсивное_расстройство')
articles+=('https://ru.wikipedia.org/wiki/Петров,_Александр_Андреевич_(актёр)')
articles+=('https://ru.wikipedia.org/wiki/Тедеско,_Доменико')
articles+=('https://ru.wikipedia.org/wiki/Роднина,_Ирина_Константиновна')
articles+=('https://ru.wikipedia.org/wiki/Германия')
articles+=('https://ru.wikipedia.org/wiki/Казахстан')
articles+=('https://ru.wikipedia.org/wiki/Окно_Овертона')
articles+=('https://ru.wikipedia.org/wiki/Терминатор:_Тёмные_судьбы')
articles+=('https://ru.wikipedia.org/wiki/Вторая_мировая_война')
articles+=('https://ru.wikipedia.org/wiki/Бетербиев,_Артур_Асильбекович')
articles+=('https://ru.wikipedia.org/wiki/Маск,_Илон')
articles+=('https://ru.wikipedia.org/wiki/Форт_Боярд_(русская_версия)')
articles+=('https://ru.wikipedia.org/wiki/Бэтмен')
articles+=('https://ru.wikipedia.org/wiki/Китай')
articles+=('https://ru.wikipedia.org/wiki/Мстители:_Финал')
articles+=('https://ru.wikipedia.org/wiki/Американская_история_ужасов')
articles+=('https://ru.wikipedia.org/wiki/Шварценеггер,_Арнольд')
articles+=('https://ru.wikipedia.org/wiki/Пугачёв,_Емельян_Иванович')
articles+=('https://ru.wikipedia.org/wiki/Знаки_зодиака')
for article in "${articles[@]}"; do
curl -s "$article" | awk '/Saved in parser cache with key/ { print $8 }'
done
$ bash getParserCacheKeys.sh | paste -s -d "#"
[…]
$ ssh mwmaint1002.eqiad.wmnet
$ mwscript eval.php --wiki ruwiki
> $pcCacheStorage = ParserCache::singleton()->getCacheStorage();
> $cacheKeys = […]
>
> foreach ( $cacheKeys as $key ) { $data = $pcCacheStorage->get( $key ); if ( !$data ) continue; echo 'gzdeflate (SqlBagOStuff): ' . strlen(gzdeflate(serialize($data))); echo '; gzcompress-9 (MemcachedClient): ' . strlen(gzcompress(serialize($data), 9)) . PHP_EOL; }
[…]
$ cat | awk '{print $3$6}' > data.csv
File Metadata
Details
Attached
Mime Type
text/plain; charset=utf-8
Storage Engine
blob
Storage Format
Raw Data
Storage Handle
8193114
Default Alt Text
raw.txt (8 KB)
Attached To
Mode
P9535 Top 100 ruwiki pages parser cache size
Attached
Detach File
Event Timeline
Log In to Comment