-
Notifications
You must be signed in to change notification settings - Fork 2
/
Copy pathdatapath.py
109 lines (108 loc) · 4.39 KB
/
datapath.py
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
loc = {
'train':{
'qa_en':['data/squad/train-v1.1.json',False],
'qa_de':['data/squad/de_squad-translate-train-train-v1.1.json',False],
'qa_hi':['data/squad/hi_squad-translate-train-train-v1.1.json',False],
'qa_es':['data/squad/es_squad-translate-train-train-v1.1.json',False],
'sc_en':['data/xnli/train-en.tsv','csv'],
'sc_de':['data/xnli/xnli.translate.train.clean.en-de.tsv','csv'],
'sc_es':['data/xnli/xnli.translate.train.clean.en-es.tsv','csv'],
'sc_fr':['data/xnli/xnli.translate.train.clean.en-fr.tsv','csv'],
'tc_en':['data/panx/train-en.tsv'],
'tc_hi':['data/panx/train-hi.tsv'],
'tc_de':['data/panx/train-de.tsv'],
'tc_es':['data/panx/train-es.tsv'],
'tc_fr':['data/panx/train-fr.tsv'],
'tc_zh':['data/panx/train-zh.tsv'],
'po_en':['data/udpos/train-en.tsv'],
'po_hi':['data/udpos/train-hi.tsv'],
'po_de':['data/udpos/train-de.tsv'],
'po_es':['data/udpos/train-es.tsv'],
'po_zh':['data/udpos/train-zh.tsv'],
'pa_en':['data/pawsx/train-en.tsv'],
'pa_de':['data/pawsx/train-de.tsv'],
'pa_es':['data/pawsx/train-es.tsv'],
'pa_fr':['data/pawsx/train-fr.tsv'],
'pa_zh':['data/pawsx/train-zh.tsv'],
},
'dev':{
'qa_en':['data/mlqa/MLQA_V1/dev/dev-context-en-question-en.json',True],
'qa_de':['data/mlqa/MLQA_V1/dev/dev-context-de-question-de.json',True],
'qa_hi':['data/mlqa/MLQA_V1/dev/dev-context-hi-question-hi.json',True],
'qa_es':['data/mlqa/MLQA_V1/dev/dev-context-es-question-es.json',True],
'sc_en':['data/xnli/dev-en.tsv','csv'],
'sc_es':['data/xnli/dev-es.tsv','csv'],
'sc_de':['data/xnli/dev-de.tsv','csv'],
'sc_fr':['data/xnli/dev-fr.tsv','csv'],
'tc_en':['data/panx/dev-en.tsv'],
'tc_hi':['data/panx/dev-hi.tsv'],
'tc_de':['data/panx/dev-de.tsv'],
'tc_es':['data/panx/dev-es.tsv'],
'tc_fr':['data/panx/dev-fr.tsv'],
'tc_zh':['data/panx/dev-zh.tsv'],
'po_en':['data/udpos/dev-en.tsv'],
'po_hi':['data/udpos/dev-hi.tsv'],
'po_de':['data/udpos/dev-de.tsv'],
'po_es':['data/udpos/dev-es.tsv'],
'po_zh':['data/udpos/dev-zh.tsv'],
'pa_en':['data/pawsx/dev-en.tsv'],
'pa_de':['data/pawsx/dev-de.tsv'],
'pa_es':['data/pawsx/dev-es.tsv'],
'pa_fr':['data/pawsx/dev-fr.tsv'],
'pa_zh':['data/pawsx/dev-zh.tsv'],
},
'test':{
'qa_en':['data/mlqa/MLQA_V1/test/test-context-en-question-en.json',True],
'qa_de':['data/mlqa/MLQA_V1/test/test-context-de-question-de.json',True],
'qa_hi':['data/mlqa/MLQA_V1/test/test-context-hi-question-hi.json',True],
'qa_es':['data/mlqa/MLQA_V1/test/test-context-es-question-es.json',True],
'sc_en':['data/xnli/test-en.tsv','csv'],
'sc_es':['data/xnli/test-es.tsv','csv'],
'sc_de':['data/xnli/test-de.tsv','csv'],
'sc_fr':['data/xnli/test-fr.tsv','csv'],
'tc_en':['data/panx/test-en.tsv'],
'tc_hi':['data/panx/test-hi.tsv'],
'tc_de':['data/panx/test-de.tsv'],
'tc_es':['data/panx/test-es.tsv'],
'tc_fr':['data/panx/test-fr.tsv'],
'tc_zh':['data/panx/test-zh.tsv'],
'po_en':['data/udpos/test-en.tsv'],
'po_hi':['data/udpos/test-hi.tsv'],
'po_de':['data/udpos/test-de.tsv'],
'po_es':['data/udpos/test-es.tsv'],
'po_zh':['data/udpos/test-zh.tsv'],
'pa_en':['data/pawsx/test-en.tsv'],
'pa_de':['data/pawsx/test-de.tsv'],
'pa_es':['data/pawsx/test-es.tsv'],
'pa_fr':['data/pawsx/test-fr.tsv'],
'pa_zh':['data/pawsx/test-zh.tsv'],
'qa_ar':['data/mlqa/MLQA_V1/test/test-context-ar-question-ar.json',True],
'qa_vi':['data/mlqa/MLQA_V1/test/test-context-vi-question-vi.json',True],
'sc_ar':['data/xnli/test-ar.tsv','csv'],
'sc_bg':['data/xnli/test-bg.tsv','csv'],
'sc_el':['data/xnli/test-el.tsv','csv'],
'sc_ru':['data/xnli/test-ru.tsv','csv'],
'sc_sw':['data/xnli/test-sw.tsv','csv'],
'sc_th':['data/xnli/test-th.tsv','csv'],
'sc_tr':['data/xnli/test-tr.tsv','csv'],
'sc_ur':['data/xnli/test-ur.tsv','csv'],
'sc_vi':['data/xnli/test-vi.tsv','csv'],
'pa_ja':['data/pawsx/test-ja.tsv'],
'pa_ko':['data/pawsx/test-ko.tsv'],
'po_mr':['data/udpos/test-mr.tsv'],
'po_ur':['data/udpos/test-ur.tsv'],
'po_ta':['data/udpos/test-ta.tsv'],
'po_te':['data/udpos/test-te.tsv'],
'po_ja':['data/udpos/test-ja.tsv'],
'po_et':['data/udpos/test-et.tsv'],
'po_fi':['data/udpos/test-fi.tsv'],
'tc_bn':['data/panx/test-bn.tsv'],
'tc_mr':['data/panx/test-mr.tsv'],
'tc_ur':['data/panx/test-ur.tsv'],
'tc_ta':['data/panx/test-ta.tsv'],
'tc_te':['data/panx/test-te.tsv'],
'tc_ja':['data/panx/test-ja.tsv'],
'tc_et':['data/panx/test-et.tsv'],
'tc_fi':['data/panx/test-fi.tsv'],
}
}