Page MenuHomePhabricator
Paste P1076

oh hm
ActivePublic

Authored by chasemp on Jul 27 2015, 8:47 PM.
root@fluorine:/a/mw-log# zgrep 'Failed connecting to redis server' archive/hhvm.log-201507* | awk '{print $12}' | cut -d ':' -f 1 | sort | uniq -c | sort -n | grep -v ';'
1 10.3.9
1 10.64.0.201
4 10.64.32.76
46 10.64.32.163
49 10.64.32.161
54 10.64.32.166
58 10.64.48.102
59 10.64.32.164
61 10.64.48.95
65 10.64.48.96
83 10.64.32.165
89 10.64.48.103
92 10.64.48.104
164 10.64.0.180
189 10.64.0.185
197 10.64.0.181
204 10.64.32.162
212 10.64.0.184
276 10.64.0.183
287 10.64.48.101
387 10.64.0.182
root@fluorine:/a/mw-log#

Event Timeline

chasemp edited the content of this paste. (Show Details)Jul 27 2015, 8:47 PM
chasemp changed the title of this paste from untitled to oh hm.
chasemp updated the paste's language from autodetect to autodetect.

root@fluorine:/a/mw-log# zgrep 'Failed connecting to redis server' archive/hhvm.log-201507* | awk '{print $4}' | cut -d ':' -f 1 | sort | uniq -c | sort -n

 1 mw1026
 1 mw1027
 1 mw1075
 1 mw1113
 1 mw1162
 1 mw1164
 1 mw1165
 1 mw1166
 1 mw1168
 1 mw1172
 1 mw1173
 1 mw1174
 1 mw1175
 1 mw1178
 1 mw1179
 1 mw1181
 1 mw1183
 1 mw1184
 1 mw1185
 1 mw1186
 1 mw1188
 1 mw1213
 1 mw1214
 1 mw1215
 1 mw1216
 1 mw1220
 1 mw1238
 1 mw1241
 1 mw1242
 1 mw1244
 1 mw1246
 1 mw1248
 1 mw1249
 1 mw1250
 1 mw1251
 1 mw1252
 1 mw1254
 1 mw1255
 2 mw1019
 2 mw1021
 2 mw1028
 2 mw1039
 2 mw1041
 2 mw1042
 2 mw1050
 2 mw1063
 2 mw1100
 2 mw1167
 2 mw1182
 2 mw1209
 2 mw1210
 2 mw1212
 2 mw1218
 2 mw1219
 3 mw1024
 3 mw1025
 3 mw1032
 3 mw1047
 3 mw1048
 3 mw1052
 3 mw1061
 3 mw1062
 3 mw1068
 3 mw1071
 3 mw1078
 3 mw1088
 3 mw1092
 3 mw1098
 3 mw1111
 3 mw1177
 3 mw1187
 3 mw1231
 3 mw1236
 3 mw1237
 3 mw1245
 3 mw1247
 3 mw1253
 3 mw1258
 4 mw1020
 4 mw1030
 4 mw1038
 4 mw1043
 4 mw1045
 4 mw1049
 4 mw1060
 4 mw1064
 4 mw1067
 4 mw1069
 4 mw1070
 4 mw1073
 4 mw1079
 4 mw1081
 4 mw1090
 4 mw1093
 4 mw1095
 4 mw1096
 4 mw1101
 4 mw1104
 4 mw1110
 4 mw1149
 4 mw1150
 4 mw1161
 4 mw1171
 4 mw1206
 4 mw1256
 4 mw1257
 5 mw1018
 5 mw1044
 5 mw1046
 5 mw1055
 5 mw1058
 5 mw1074
 5 mw1080
 5 mw1083
 5 mw1085
 5 mw1087
 5 mw1089
 5 mw1091
 5 mw1097
 5 mw1099
 5 mw1102
 5 mw1105
 5 mw1106
 5 mw1112
 5 mw1204
 5 mw1228
 5 mw1240
 6 mw1035
 6 mw1036
 6 mw1051
 6 mw1077
 6 mw1082
 6 mw1084
 6 mw1086
 6 mw1107
 6 mw1108
 6 mw1109
 6 mw1151
 6 mw1176
 7 mw1023
 7 mw1037
 7 mw1053
 7 mw1054
 7 mw1057
 7 mw1059
 7 mw1065
 7 mw1066
 7 mw1094
 7 mw1103
 7 mw1195
 7 mw1207
 7 mw1222
 7 mw1227
 7 mw1230
 7 mw1233
 8 mw1076
 8 mw1198
 8 mw1232
 9 mw1022
 9 mw1029
 9 mw1033
 9 mw1034
 9 mw1056
 9 mw1072
 9 mw1202
 9 mw1205
10 mw1229
11 mw1201
11 mw1208
11 mw1221
11 mw1223
11 mw1224
12 mw1191
12 mw1226
12 mw1234
12 mw1235
13 mw1192
13 mw1203
13 mw1225
14 mw1197
15 mw1189
15 mw1199
16 mw1193
16 mw1200
17 mw1190
17 mw1194
36 mw1144
38 mw1135
38 mw1138
38 mw1140
39 mw1116
39 mw1122
40 mw1143
42 mw1134
44 mw1125
45 mw1117
45 mw1119
45 mw1128
46 mw1137
47 mw1142
47 mw1147
48 mw1129
50 mw1123
51 mw1126
51 mw1136
52 mw1127
53 mw1121
54 mw1133
55 mw1148
58 mw1120
58 mw1131
59 mw1139
63 mw1115
63 mw1132
64 mw1124
64 mw1130
64 mw1146
68 mw1114
74 mw1145

219 mw hosts in july

chasemp edited the content of this paste. (Show Details)Jul 27 2015, 8:51 PM

23rd - midday 28th

root@fluorine:/a/mw-log# zgrep 'Failed connecting to redis server' archive/hhvm.log-201507{23..28} | awk '{print $4}' | cut -d ':' -f 1 | grep -v ':' | sort | uniq -c | sort -n

 1 mw1026
 1 mw1027
 1 mw1040
 1 mw1075
 1 mw1162
 1 mw1164
 1 mw1165
 1 mw1166
 1 mw1172
 1 mw1173
 1 mw1174
 1 mw1178
 1 mw1179
 1 mw1183
 1 mw1186
 1 mw1188
 1 mw1213
 1 mw1214
 1 mw1216
 1 mw1220
 1 mw1238
 1 mw1241
 1 mw1248
 1 mw1250
 1 mw1251
 1 mw1252
 1 mw1254
 2 mw1019
 2 mw1028
 2 mw1039
 2 mw1041
 2 mw1042
 2 mw1050
 2 mw1063
 2 mw1113
 2 mw1167
 2 mw1168
 2 mw1175
 2 mw1177
 2 mw1181
 2 mw1184
 2 mw1185
 2 mw1209
 2 mw1210
 2 mw1212
 2 mw1215
 2 mw1218
 2 mw1242
 2 mw1244
 2 mw1249
 2 mw1255
 3 mw1047
 3 mw1048
 3 mw1052
 3 mw1062
 3 mw1071
 3 mw1100
 3 mw1111
 3 mw1182
 3 mw1187
 3 mw1219
 3 mw1231
 3 mw1236
 3 mw1237
 3 mw1247
 3 mw1253
 3 mw1256
 3 mw1258
 4 mw1021
 4 mw1024
 4 mw1045
 4 mw1060
 4 mw1061
 4 mw1069
 4 mw1070
 4 mw1088
 4 mw1093
 4 mw1096
 4 mw1110
 4 mw1150
 4 mw1171
 4 mw1245
 4 mw1246
 5 mw1020
 5 mw1025
 5 mw1032
 5 mw1043
 5 mw1049
 5 mw1058
 5 mw1067
 5 mw1078
 5 mw1083
 5 mw1087
 5 mw1092
 5 mw1098
 5 mw1099
 5 mw1104
 5 mw1106
 5 mw1149
 5 mw1161
 5 mw1240
 5 mw1257
 6 mw1018
 6 mw1030
 6 mw1035
 6 mw1038
 6 mw1044
 6 mw1046
 6 mw1051
 6 mw1055
 6 mw1073
 6 mw1074
 6 mw1077
 6 mw1086
 6 mw1089
 6 mw1090
 6 mw1091
 6 mw1094
 6 mw1101
 6 mw1112
 6 mw1206
 6 mw1228
 7 mw1023
 7 mw1054
 7 mw1064
 7 mw1065
 7 mw1068
 7 mw1079
 7 mw1081
 7 mw1085
 7 mw1095
 7 mw1097
 7 mw1103
 7 mw1105
 7 mw1107
 7 mw1109
 7 mw1176
 7 mw1204
 7 mw1230
 8 mw1029
 8 mw1036
 8 mw1037
 8 mw1053
 8 mw1059
 8 mw1066
 8 mw1076
 8 mw1080
 8 mw1082
 8 mw1084
 8 mw1102
 8 mw1108
 8 mw1151
 8 mw1207
 8 mw1232
 9 mw1022
 9 mw1033
 9 mw1034
 9 mw1057
 9 mw1072
 9 mw1198
 9 mw1233
10 mw1195
10 mw1205
11 mw1056
11 mw1208
11 mw1222
11 mw1227
12 mw1191
12 mw1192
12 mw1201
12 mw1202
12 mw1221
12 mw1224
12 mw1234
13 mw1223
13 mw1226
14 mw1199
15 mw1203
15 mw1225
15 mw1229
16 mw1197
16 mw1235
17 mw1189
17 mw1190
17 mw1193
17 mw1194
18 mw1200
42 mw1116
42 mw1138
43 mw1144
44 mw1135
44 mw1143
46 mw1134
48 mw1122
48 mw1125
50 mw1128
50 mw1140
52 mw1117
52 mw1142
53 mw1137
54 mw1119
55 mw1126
55 mw1127
56 mw1136
56 mw1147
57 mw1129
59 mw1123
63 mw1121
63 mw1148
65 mw1133
65 mw1139
67 mw1115
68 mw1131
69 mw1132
72 mw1120
72 mw1124
74 mw1130
76 mw1114
76 mw1146
82 mw1145

root@fluorine:/a/mw-log#

A5 mc's:

mc1006
5
mc1005
4
mc1004
3
mc1003
2
mc1002
1
mc1001

root@fluorine:/a/mw-log# zgrep 'Failed connecting to redis server' archive/hhvm.log-201507{23..28} | awk '{print $12}' | cut -d ':' -f 1 | grep -v ':' | sort | uniq | grep -v 10.3.9 | grep -v BIG

('mc1001.eqiad.wmnet', [], ['10.64.0.180'])
('mc1002.eqiad.wmnet', [], ['10.64.0.181'])
('mc1003.eqiad.wmnet', [], ['10.64.0.182'])
('mc1004.eqiad.wmnet', [], ['10.64.0.183'])
('mc1005.eqiad.wmnet', [], ['10.64.0.184'])
('mc1006.eqiad.wmnet', [], ['10.64.0.185'])
('mc1007.eqiad.wmnet', [], ['10.64.32.161'])
('mc1008.eqiad.wmnet', [], ['10.64.32.162'])
('mc1009.eqiad.wmnet', [], ['10.64.32.163'])
('mc1010.eqiad.wmnet', [], ['10.64.32.164'])
('mc1011.eqiad.wmnet', [], ['10.64.32.165'])
('mc1012.eqiad.wmnet', [], ['10.64.32.166'])
('rdb1001.eqiad.wmnet', [], ['10.64.32.76'])
('mc1013.eqiad.wmnet', [], ['10.64.48.101'])
('mc1014.eqiad.wmnet', [], ['10.64.48.102'])
('mc1015.eqiad.wmnet', [], ['10.64.48.103'])
('mc1016.eqiad.wmnet', [], ['10.64.48.104'])
('mc1017.eqiad.wmnet', [], ['10.64.48.95'])
('mc1018.eqiad.wmnet', [], ['10.64.48.96'])

chasemp added a comment.EditedJul 28 2015, 5:22 PM

'Failed connecting to redis server' archive/hhvm.log-201507{23..28} by count with ip and hostname

1 10.64.32.76

rdb1001.eqiad.wmnet

54 10.64.32.163

mc1009.eqiad.wmnet

60 10.64.32.161

mc1007.eqiad.wmnet

65 10.64.32.164

mc1010.eqiad.wmnet

65 10.64.32.166

mc1012.eqiad.wmnet

66 10.64.48.102

mc1014.eqiad.wmnet

69 10.64.48.96

mc1018.eqiad.wmnet

70 10.64.48.95

mc1017.eqiad.wmnet

91 10.64.32.165

mc1011.eqiad.wmnet

97 10.64.48.103

mc1015.eqiad.wmnet

106 10.64.48.104

mc1016.eqiad.wmnet

181 10.64.0.180

mc1001.eqiad.wmnet

223 10.64.0.185

mc1006.eqiad.wmnet

228 10.64.0.181

mc1002.eqiad.wmnet

247 10.64.0.184

mc1005.eqiad.wmnet

255 10.64.32.162

mc1008.eqiad.wmnet

325 10.64.48.101

mc1013.eqiad.wmnet

335 10.64.0.183

mc1004.eqiad.wmnet

432 10.64.0.182

mc1003.eqiad.wmnet