checkimages.py hangs when taggoing a file page while consuming 100% of CPU
Teatr dach meerdorf1.jpg has only text and not the specific license...
@@ -0,0 +1 @@
+ {{Dateiüberprüfung}}
Bot: Markiere mit {{[[Wikipedia:Dateiüberprüfung/Anleitung|DÜP]]}}, da keine Liz
enzvorlage gefunden — bitte nicht entfernen, Informationen bald auf der Benutzer
diskussion des Uploaders.| Subject | Repo | Branch | Lines +/- | |
|---|---|---|---|---|
| textlib.py: Rewrite FILE_LINK_REGEX to use atomic groups | pywikibot/core | master | +24 -7 |
| Status | Subtype | Assigned | Task | ||
|---|---|---|---|---|---|
| Invalid | None | T191113 checkimages.py hangs when putting a file page | |||
| Resolved | Xqt | T191192 Drop support for python 2.7.2 and 2.7.3 |
I found out that error occures in cosmetic_changes.translateMagicWords() when calling
text = textlib.replaceExcept(text, regex, replace_magicword,
exceptions)and inside replaceExcept that line
if not old.search(text):
doesn't comes to an end.
Seems that FILE_LINK_REGEX
\[\[\s*(?:Datei|File|Image|Bild)\s*:[^|]*?\s*
(\|
( ( \[\[ .*? \]\] )? [^[]*?
| \[ [^]]*? \]
)*
)?
\]\]is too greedy and doesn't doesn't find any result in short time for following content:
== Beschreibung, Quelle ==
{{Information
|Beschreibung = teatr dach Meerdorf
|Quelle = Albrecht Schultze
|Urheber = Albrecht Schultze
|Datum =
|Genehmigung = ja
|Andere Versionen =
|Anmerkungen = Ich erkläre in Bezug auf das Bild {{{[[Datei:teatr_dach_meerdorf1.jpg|}}} {{{Teatr dach Meerdorf}}}, dass ich dessen Fotograf bin.
Ich erlaube hiermit jedermann die Weiternutzung des Bildes unter der freien Lizenz „Creative Commons Namensnennung-Weitergabe unter gleichen Bedingungen 4.0“ (http://creativecommons.org/licenses/by-sa/4.0/deed.de).
Ich gewähre somit in urheberrechtlicher Hinsicht Dritten das Recht, das Bild (auch gewerblich) zu nutzen und zu verändern, sofern sie die Lizenzbedingungen wahren. Mir ist bekannt, dass ich diese Einwilligung üblicherweise nicht widerrufen kann.
Mir ist bekannt, dass sich die Unterstellung unter eine freie Lizenz nur auf das Urheberrecht bezieht und es mir daher unbenommen ist, aufgrund anderer Gesetze (Persönlichkeitsrecht, Markenrecht usw.) gegen Dritte vorzugehen, die das Bild im Rahmen der freien Lizenz rechtmäßig, aufgrund der anderen Gesetze aber unrechtmäßig nutzen.
Gleichwohl erwerbe ich keinen Anspruch darauf, dass das Bild dauerhaft auf der Wikipedia eingestellt wird.
{{{15.03.2018}}, {{{Albrecht Schultze}}}
}}Sure that text contains something like a file link but closing brackets are missing
Change 423243 had a related patch set uploaded (by Dalba; owner: Dalba):
[pywikibot/core@master] textlib.py: Rewrite FILE_LINK_REGEX to use atomic groups
Another case of catastrophic backtracking. This is what happens when we try to parse a context-free language with regular expressions, the ultimate solution is to try using a real parser like mwparserfromhell...
The above patch should fix this specific case, but I have not tested it thoroughly.
Change 423243 merged by jenkins-bot:
[pywikibot/core@master] textlib.py: Rewrite FILE_LINK_REGEX to use atomic groups
With the merge of c25f22164f88b1bf91dd329d0566afed685ce530, this issue will continue to happen on 2.7.2 and 2.7.3. We have not found any better solution yet.
This task will become invalid as soon is we are done with T191192: Drop support for python 2.7.2 and 2.7.3 (unless someone finds a solution till then of coarse).