Create a single table with evaluation metrics from all trained add-a-link models
Closed, ResolvedPublic
Actions

Assigned To

Authored By

	kevinbazira
	Aug 2 2023, 6:07 PM

Description

The ML team completed training add-a-link models in 18 batches and shared an aggregated report in T336927#8864482.

The Research team requested for a single table that shows evaluation metrics for all trained wikis.

Related Objects
Search...

Status	Assigned	Task
Open	lbowmaker	T307881 Scaling of link suggestions service
In Progress	Trizek-WMF	T304110 [EPIC] Deploy "add a link" to all Wikipedias
Resolved	kevinbazira	T336927 Completion report on training 18 rounds of add-a-link models
Resolved	kevinbazira	T343374 Create a single table with evaluation metrics from all trained add-a-link models

Event Timeline

kevinbazira created this task.Aug 2 2023, 6:07 PM

Restricted Application added a project: Growth-Team. · View Herald TranscriptAug 2 2023, 6:08 PM

Restricted Application added a subscriber: Aklapper. · View Herald Transcript

Below is a disaggregated report that shows evaluation metrics for all models trained in 18 batches:

Batch	Wiki	Precision	Recall	Published
1 (T272731#6965845)	simplewiki	0.79	0.45	TRUE
	dewiki	0.8	0.48	TRUE
	ptwiki	0.84	0.53	TRUE
	arwiki	0.75	0.34	TRUE
	bnwiki	0.75	0.3	TRUE
	cswiki	0.78	0.44	TRUE
	viwiki	0.89	0.65	TRUE
2 (T284481#7163025)	ruwiki	0.778	0.423	TRUE
	frwiki	0.815	0.459	TRUE
	plwiki	0.871	0.576	TRUE
	rowiki	0.882	0.611	TRUE
	fawiki	0.882	0.605	TRUE
	huwiki	0.891	0.449	TRUE
	eswiki	0.805	0.451	TRUE
3 (T304542)	cawiki	0.85	0.51	TRUE
	hewiki	0.75	0.28	TRUE
	hiwiki	0.76	0.27	TRUE
	kowiki	0.72	0.25	TRUE
	nowiki	0.84	0.54	TRUE
	ptwiki	0.85	0.48	TRUE
	simplewiki	0.79	0.44	TRUE
	svwiki	0.9	0.61	TRUE
	ukwiki	0.8	0.42	TRUE
4 (T304548)	abwiki	0.92	0.60	TRUE
	acewiki	0.95	0.70	TRUE
	adywiki	0.90	0.56	TRUE
	afwiki	0.87	0.58	TRUE
	akwiki	0.86	0.58	TRUE
	alswiki	0.86	0.68	TRUE
	amwiki	0.71	0.31	TRUE
	anwiki	0.87	0.54	TRUE
	angwiki	0.81	0.41	TRUE
	arcwiki	0.74	0.31	TRUE
	arzwiki	0.97	0.82	TRUE
	aswiki	0.57	0.16	FALSE
	astwiki	0.86	0.57	TRUE
	atjwiki	0.86	0.74	TRUE
	avwiki	0.85	0.40	TRUE
	aywiki	0.97	0.41	TRUE
	azwiki	0.68	0.21	TRUE
	azbwiki	0.96	0.79	TRUE
	jawiki	0.32	0.01	FALSE
5 (T304549)	aswiki	-	-	FALSE
	bawiki	0.81	0.31	TRUE
	banwiki	0.95	0.80	TRUE
	barwiki	0.88	0.61	TRUE
	bat_smgwiki	0.80	0.36	TRUE
	bclwiki	0.86	0.54	TRUE
	bewiki	0.83	0.49	TRUE
	be_x_oldwiki	0.86	0.63	TRUE
	bgwiki	0.81	0.54	TRUE
	bhwiki	0.94	0.72	TRUE
	biwiki	0.96	0.87	TRUE
	bjnwiki	0.89	0.58	TRUE
	bmwiki	0.90	0.64	TRUE
	bowiki	0.00	0.00	FALSE
	bpywiki	0.99	0.83	TRUE
	brwiki	0.85	0.54	TRUE
	bswiki	0.87	0.64	TRUE
	bugwiki	1.00	0.90	TRUE
	bxrwiki	0.72	0.32	TRUE
	idwiki	0.84	0.55	TRUE
6 (T304550)	cbk_zamwiki	0.90	0.65	TRUE
	cdowiki	0.93	0.47	TRUE
	cewiki	0.99	0.45	TRUE
	cebwiki	1.00	0.96	TRUE
	chwiki	0.98	0.90	TRUE
	chrwiki	0.86	0.66	TRUE
	chywiki	0.97	0.57	TRUE
	ckbwiki	0.79	0.36	TRUE
	cowiki	0.81	0.52	TRUE
	crwiki	1.00	0.65	TRUE
	crhwiki	0.72	0.27	TRUE
	csbwiki	0.94	0.79	TRUE
	cuwiki	0.72	0.48	TRUE
	cvwiki	0.84	0.41	TRUE
	cywiki	0.93	0.70	TRUE
	itwiki	0.84	0.46	TRUE
7 (T304551)	arywiki	0.79	0.44	TRUE
	dawiki	0.79	0.48	TRUE
	dinwiki	0.94	0.48	TRUE
	diqwiki	0.40	0.90	FALSE
	dsbwiki	0.89	0.66	TRUE
	dvwiki	0.67	0.02	FALSE
	dzwiki	-	-	FALSE
	eewiki	0.93	0.82	TRUE
	elwiki	0.79	0.44	TRUE
	emlwiki	0.89	0.57	TRUE
	eowiki	0.82	0.51	TRUE
	etwiki	0.77	0.33	TRUE
	euwiki	0.86	0.37	TRUE
	extwiki	0.75	0.50	TRUE
	tumwiki	0.84	0.62	TRUE
8 (T308133)	ffwiki	0.92	0.86	TRUE
	fiwiki	0.71	0.27	TRUE
	fiu_vrowiki	0.89	0.58	TRUE
	fjwiki	0.79	0.67	TRUE
	fowiki	0.86	0.60	TRUE
	frpwiki	0.83	0.45	TRUE
	frrwiki	0.93	0.72	TRUE
	furwiki	0.80	0.46	TRUE
	fywiki	-	-	FALSE
	gawiki	0.80	0.44	TRUE
	gagwiki	0.88	0.50	TRUE
	ganwiki	0.67	0.01	FALSE
	gcrwiki	0.95	0.84	TRUE
	gdwiki	0.82	0.51	TRUE
	glwiki	0.83	0.42	TRUE
	glkwiki	0.97	0.74	TRUE
	gnwiki	0.81	0.43	TRUE
	gomwiki	0.82	0.38	TRUE
	gorwiki	0.99	0.97	TRUE
	gotwiki	0.91	0.71	TRUE
	guwiki	0.84	0.32	TRUE
	gvwiki	0.82	0.52	TRUE
9 (T308134)	hawiki	0.68	0.46	TRUE
	hakwiki	0.92	0.75	TRUE
	hawwiki	0.92	0.74	TRUE
	hifwiki	0.93	0.73	TRUE
	hrwiki	0.81	0.52	TRUE
	hsbwiki	0.90	0.68	TRUE
	htwiki	0.92	0.42	TRUE
	hywiki	-	-	FALSE
	hywwiki	0.63	0.16	FALSE
	iawiki	0.94	0.73	TRUE
	iewiki	0.98	0.93	TRUE
	igwiki	0.72	0.49	TRUE
	ikwiki	0.92	0.60	TRUE
	ilowiki	0.91	0.65	TRUE
	inhwiki	0.68	0.22	TRUE
	iowiki	0.89	0.53	TRUE
	iswiki	0.79	0.53	TRUE
	iuwiki	0.96	0.72	TRUE
	jamwiki	0.82	0.60	TRUE
	jbowiki	0.70	0.29	TRUE
	jvwiki	0.87	0.61	TRUE
10 (T308135)	kawiki	0.82	0.34	TRUE
	kaawiki	0.77	0.34	TRUE
	kabwiki	0.82	0.65	TRUE
	kbdwiki	0.80	0.41	TRUE
	kbpwiki	0.88	0.60	TRUE
	kgwiki	0.96	0.81	TRUE
	kiwiki	0.96	0.89	TRUE
	kkwiki	0.85	0.41	TRUE
	klwiki	0.74	0.35	TRUE
	kmwiki	0.70	0.21	TRUE
	knwiki	0.79	0.22	TRUE
	koiwiki	0.94	0.13	TRUE
	krcwiki	0.65	0.20	FALSE
	kswiki	0.98	0.83	TRUE
	kshwiki	0.81	0.52	TRUE
	kuwiki	0.88	0.40	TRUE
	kvwiki	0.82	0.38	TRUE
	kwwiki	0.83	0.53	TRUE
	kywiki	-	-	FALSE
11 (T308136)	lawiki	0.89	0.47	TRUE
	ladwiki	0.83	0.67	TRUE
	lbwiki	0.89	0.67	TRUE
	lbewiki	0.95	0.42	TRUE
	lezwiki	0.78	0.27	TRUE
	lfnwiki	0.78	0.60	TRUE
	lgwiki	0.92	0.51	TRUE
	liwiki	0.85	0.55	TRUE
	lijwiki	0.90	0.58	TRUE
	lmowiki	0.93	0.69	TRUE
	lnwiki	0.78	0.67	TRUE
	lowiki	0.76	0.30	TRUE
	lrcwiki	-	-	FALSE
	ltwiki	0.79	0.47	TRUE
	ltgwiki	0.83	0.55	TRUE
	lvwiki	0.84	0.52	TRUE
	maiwiki	0.91	0.24	TRUE
	map_bmswiki	0.98	0.81	TRUE
	mdfwiki	0.84	0.24	TRUE
	mgwiki	0.97	0.76	TRUE
	hywiki	0.74	0.19	TRUE
	kywiki	0.81	0.52	TRUE
12 (T308137)	mhrwiki	0.93	0.34	TRUE
	miwiki	0.94	0.75	TRUE
	minwiki	0.97	0.96	TRUE
	mkwiki	0.87	0.57	TRUE
	mlwiki	0.69	0.14	TRUE
	mnwiki	0.72	0.30	TRUE
	mnwwiki	0.00	0.00	FALSE
	mrwiki	0.97	0.67	TRUE
	mrjwiki	0.93	0.54	TRUE
	mswiki	0.90	0.68	TRUE
	mtwiki	0.75	0.35	TRUE
	mwlwiki	0.84	0.56	TRUE
	mywiki	0.63	0.06	FALSE
	myvwiki	0.79	0.32	TRUE
	mznwiki	0.93	0.71	TRUE
	nawiki	0.95	0.86	TRUE
	nahwiki	0.83	0.51	TRUE
	napwiki	0.91	0.52	TRUE
	ndswiki	0.89	0.44	TRUE
	nds_nlwiki	0.82	0.55	TRUE
	newiki	0.74	0.15	TRUE
	newwiki	1.00	0.24	TRUE
	nnwiki	0.86	0.64	TRUE
13 (T308138)	novwiki	0.88	0.61	TRUE
	nqowiki	0.73	0.11	TRUE
	nrmwiki	0.87	0.56	TRUE
	nsowiki	0.96	0.40	TRUE
	nvwiki	0.99	0.80	TRUE
	nywiki	0.91	0.67	TRUE
	ocwiki	0.89	0.66	TRUE
	olowiki	0.92	0.51	TRUE
	omwiki	0.84	0.53	TRUE
	orwiki	0.71	0.22	TRUE
	oswiki	0.79	0.28	TRUE
	pawiki	0.74	0.29	TRUE
	pagwiki	0.92	0.69	TRUE
	pamwiki	0.94	0.76	TRUE
	papwiki	0.88	0.60	TRUE
	pcdwiki	0.92	0.75	TRUE
	pdcwiki	0.88	0.73	TRUE
	pflwiki	0.98	0.79	TRUE
	piwiki	0.00	0.00	FALSE
	pihwiki	0.91	0.77	TRUE
	pmswiki	0.94	0.69	TRUE
	pnbwiki	0.80	0.53	TRUE
	pntwiki	0.93	0.81	TRUE
	pswiki	0.76	0.47	TRUE
14 (T308139)	wawiki	0.81	0.40	TRUE
	warwiki	0.95	0.77	TRUE
	wowiki	0.83	0.54	TRUE
	wuuwiki	0.00	0.00	FALSE
	xalwiki	0.99	0.60	TRUE
	xhwiki	0.83	0.32	TRUE
	xmfwiki	0.76	0.27	TRUE
	yiwiki	0.76	0.44	TRUE
	yowiki	0.96	0.83	TRUE
	zawiki	0.91	0.61	TRUE
	zeawiki	0.97	0.78	TRUE
	zh_classicalwiki	0.00	0.00	FALSE
	zh_min_nanwiki	0.97	0.84	TRUE
	zh_yuewiki	0.48	0.00	FALSE
	zhwiki	-	-	FALSE
	zuwiki	0.97	0.80	TRUE
15 (T308141)	quwiki	0.75	0.16	TRUE
	rmwiki	0.84	0.65	TRUE
	rmywiki	0.89	0.76	TRUE
	rnwiki	0.98	0.67	TRUE
	roa_rupwiki	0.76	0.57	TRUE
	roa_tarawiki	0.97	0.76	TRUE
	ruewiki	0.84	0.57	TRUE
	rwwiki	0.83	0.65	TRUE
	sawiki	0.75	0.13	TRUE
	sahwiki	0.77	0.43	TRUE
	satwiki	0.76	0.52	TRUE
	scwiki	0.80	0.54	TRUE
	scnwiki	0.91	0.56	TRUE
	scowiki	0.84	0.54	TRUE
	sdwiki	0.75	0.45	TRUE
	sewiki	0.95	0.69	TRUE
	sgwiki	1.00	0.89	TRUE
	shwiki	0.90	0.51	TRUE
	shnwiki	0.50	0.02	FALSE
	siwiki	0.74	0.13	TRUE
	skwiki	0.91	0.59	TRUE
	slwiki	0.83	0.53	TRUE
16 (T308142)	smwiki	0.87	0.68	TRUE
	snwiki	0.64	0.16	FALSE
	sowiki	0.71	0.39	TRUE
	sqwiki	0.89	0.58	TRUE
	srwiki	0.90	0.47	TRUE
	srnwiki	0.98	0.77	TRUE
	sswiki	0.92	0.38	TRUE
	stwiki	0.99	0.82	TRUE
	stqwiki	0.90	0.72	TRUE
	suwiki	0.98	0.81	TRUE
	swwiki	0.88	0.63	TRUE
	szlwiki	0.96	0.81	TRUE
	szywiki	0.65	0.32	FALSE
	tawiki	0.72	0.01	TRUE
	tcywiki	0.88	0.11	TRUE
	tewiki	0.79	0.13	TRUE
	tetwiki	0.84	0.69	TRUE
	tgwiki	0.90	0.61	TRUE
	thwiki	0.72	0.21	TRUE
17 (T308143)	tiwiki	0.54	0.50	FALSE
	tkwiki	0.74	0.27	TRUE
	tlwiki	0.81	0.52	TRUE
	tnwiki	0.90	0.74	TRUE
	towiki	0.94	0.73	TRUE
	tpiwiki	0.80	0.69	TRUE
	trwiki	0.75	0.35	TRUE
	tswiki	0.89	0.59	TRUE
	ttwiki	0.93	0.38	TRUE
	twwiki	0.80	0.61	TRUE
	tywiki	0.97	0.85	TRUE
	tyvwiki	0.78	0.39	TRUE
	udmwiki	0.83	0.33	TRUE
	ugwiki	0.88	0.53	TRUE
	urwiki	0.62	0.23	FALSE
	uzwiki	0.80	0.30	TRUE
	vewiki	0.99	0.93	TRUE
	vecwiki	0.96	0.75	TRUE
	vepwiki	0.87	0.38	TRUE
	vlswiki	0.84	0.55	TRUE
	vowiki	0.98	0.43	TRUE
18 (T308144)	dewiki	0.79	0.48	TRUE
	enwiki	0.81	0.45	TRUE