Нөхөн үржих чадварыг дээшлүүлэх, хэвлэгдсэн бүтээлийг илүү хялбархан бүтээх чадварыг бусдад олгох зорилгоор ML кодын бүрэн байдлын хяналтын хуудсыг толилуулж байна. ML Code Completeness Checklist нь кодын дэлгүүрийг түүнд оруулсан скриптүүд болон олдворууд дээр үндэслэн үнэлдэг.
Танилцуулга
Өнгөрсөн жил Жоэл Пино томоохон OA бага хурлуудад (NeurIPS, ICML,…) танилцуулсан нөхөн сэргээгдэх судалгааг хөнгөвчлөх зорилгоор нөхөн үржихүйн хяналтын жагсаалтыг гаргасан. Хяналтын жагсаалтад багтсан ихэнх зүйл нь цаасан дээрх бүрэлдэхүүн хэсгүүдэд төвлөрдөг. Энэхүү хяналтын жагсаалтад багтсан нэг зүйл бол “эх кодын холбоосыг өгөх” боловч үүнээс өөр цөөн хэдэн зөвлөмж гаргасан болно.
Шилдэг туршлагуудыг ML Code Completeness Checklist-т нэгтгэн харуулсан бөгөөд одоо NeurIPS 2020 кодыг албан ёсоор ирүүлэх үйл явцын нэг хэсэг болсон бөгөөд хянагч нар өөрсдийн хүссэнээр ашиглах боломжтой болно.
ML Completeness шалгах хуудас
M Code Completeness Checklist нь код хадгалах газрыг дараахь байдлаар шалгадаг.
- Хараат байдал - Репозиторт хараат байдлын мэдээлэл эсвэл орчныг хэрхэн тохируулах заавар байдаг уу?
- Сургалтын хувилбар - Репозитор нь баримт бичигт дурдсан загваруудыг сургах / тохируулах арга замыг агуулдаг уу?
- Үнэлгээний хувилбарууд - Сургуульд бэлтгэгдсэн загвар (ууд) -ын гүйцэтгэлийг тооцоолох эсвэл загвар дээр туршилт хийх скрипт агуулагдаж байна уу?
- Урьдчилан тохируулсан загварууд - Репозитор нь урьдчилж бэлтгэсэн загварын жинд үнэгүй нэвтрэх боломжийг олгодог уу?
- Үр дүн - агуулахад үндсэн үр дүнгийн хүснэгт / график болон эдгээр үр дүнг хуулбарлах скрипт орсон уу?
Агуулах бүр 0 (байхгүй) -ээс 5 (бүгд байна) хачиг авах боломжтой. Зүйл бүрийн шалгуурын талаархи дэлгэрэнгүй мэдээллийг Github сангаас олж болно.
Хяналтын жагсаалтын зүйлүүд илүү ашигтай агуулахад хувь нэмэр оруулдаг нотолгоо юу вэ?
Олон нийт GitHub оддыг репозитор болгон ашиглахад прокси болгон ашигладаг. Тиймээс ML-ийн бүрэн байдлыг шалгах жагсаалтад илүү өндөр оноо авсан репо нь GitHub-ийн одод илүү их байх төлөвтэй байна. Энэхүү таамаглалыг шалгахын тулд NeurIPS 2019 баримт бичигт 884 GitHub репо албан ёсны хэрэгжилт болгон ирүүлсэн бөгөөд эдгээр 884 репогийн 25% дэд хэсгийг санамсаргүй байдлаар сонгож, ML-ийн бүрэн байдлыг шалгах жагсаалтад гараар шалгаж үзсэн болно. Тэд энэхүү түүвэр NeurIPS 2019 GitHub репо-г ML кодын бүрэн байдлын хяналтын хуудсанд байгаа хачигны тоогоор бүлэглэж, бүлэг тус бүрт GitHub медиан оддын зураглал хийжээ. Үр дүн доор байна:
0 хайрцаг бүхий NeurIPS 2019 репо нь GitHub дээр 1.5 одтой медиантай байв. Үүний эсрэгээр 5 хайрцаг бүхий репо нь 196.5 GitHub оддын медианатай байв. Репогийн дөнгөж 9% нь 5 хачигтай байсан бөгөөд ихэнх репогийн (70%) 3 ба түүнээс бага хачигтай байжээ. Wilcoxon-ийн зэрэглэлийг тогтоох шалгалтыг хийж 5 хачигт ангийн оддын тоо 5-аас 4-ээс бусад бүх ангиас хамаагүй (p.value <1e-4) илүү байгааг тогтоожээ (p.value нь хил хязгаар юм). 0.015 дээр). Та энэ зургийн өгөгдөл, кодыг Github агуулахаас харах боломжтой.
Энэ харилцаа илүү өргөн цар хүрээтэй байгаа эсэхийг шалгахын тулд README репозитор болон холбогдох кодоос шалгах жагсаалтыг тооцоолох ажлыг автоматжуулах скриптийг үүсгэсэн. Дараа нь бид 884 NeurIPS 2019 агуулах бүхэлд нь, мөн 2019 онд хэвлэгдсэн ML-ийн бүх нийтлэлийн 8926 кодын агуулахын өргөн багцад дахин дүн шинжилгээ хийлээ. Аль ч тохиолдолд мэргэжилтнүүд чанарын хувьд ижил үр дүнг статистикийн ач холбогдол бүхий хачигнаас монотоноор өссөн медиан одод олж авсан (p.value <1e-4). Эцэст нь бат бөх шугаман регрессийг ашиглан урьдчилж боловсруулсан загвар, үр дүнг GitHub одод хамгийн их эерэг нөлөө үзүүлсэн болохыг олж мэдлээ.
Үүнийг шинжээчид ML-ийн бүрэн бүтэн байдлын хяналтын хуудсанд шаардагдах бүх бүрэлдэхүүн хэсгүүдийг оруулахыг уриалж байгаа нь илүү ашигтай агуулахуудыг бий болгоход түлхэц өгч, хяналтын хуудсан дээрх оноо нь илүү чанартай материал ирүүлсэн болохыг харуулж байна гэж шинжээчид үзэж байна.
Одоогийн байдлаар шинжээчид санал болгож буй хяналтын хуудасны 5 зүйл нь репозиторыг түгээмэл байлгах цорын ганц, тэр ч байтугай хамгийн чухал хүчин зүйл гэж үзэж байна. Шинжлэх ухааны хувь нэмэр оруулах хэмжээ, маркетинг (ж.нь блогын нийтлэл, твиттер дэх бичлэг), баримт бичиг (дэлгэрэнгүй README, заавар, API баримтжуулалт), кодын чанар, өмнөх ажил зэрэг бусад хүчин зүйлүүд нь нэр хүндэд нөлөөлж болно.
5 хайрцаг бүхий NeurIPS 2019 агуулахуудын зарим жишээ:
Мэргэжилтнүүд хяналтын хуудсыг аль болох ерөнхийд нь оруулахыг хичээсэн боловч энэ нь бүх төрлийн баримт бичигт, тухайлбал, онолын болон баримт бичгийн багцад бүрэн хамаарахгүй байж болохыг хүлээн зөвшөөрдөг. Гэсэн хэдий ч, өгүүллийн гол зорилго нь мэдээллийн санг төлөөлөх байсан ч сургалтын хувилбар, үнэлгээний хувилбар, үр дүнг багтаасан суурь загваруудыг гаргахад ашиг тусаа өгөх болно.
Ашиглаж эхэлнэ үү
Хянагч, хэрэглэгчдэд агуулахад юу байгааг ойлгоход хялбар, шинжээчид үүнийг зөв үнэлэхэд хялбар болгох үүднээс README.md файлыг бичих, хамаарлыг тодорхойлох, урьдчилан бэлтгэсэн загвар, мэдээллийн багц, үр дүнг гаргах шилдэг туршлагын цуглуулгыг өгдөг. Репозитордоо эдгээр 5 элементийг тодорхой тодорхойлж, баримт бичиг, тэргүүлэгчдийн самбар гэх мэт гадны аливаа эх үүсвэртэй холбож, хэрэглэгчдэд илүү их контекст, ойлгомжтой байлгахыг зөвлөж байна. Эдгээр нь NeurIPS 2020-д код илгээх албан ёсны удирдамж юм.
