WIRED के सार्वजनिक रिकॉर्ड अनुरोधों के जवाब में, एवन और समरसेट पुलिस ने 2017 और 2024 के बीच उपयोग किए गए 13 जोखिम मॉडलों के लिए प्रदर्शन डेटा का एक बड़ा भंडार प्रदान किया – जिसमें लापता लोगों, असामाजिक व्यवहार और अपराध करने या शिकार होने की सबसे अधिक संभावना की भविष्यवाणी करने के लिए उपयोग किए जाने वाले मॉडल भी शामिल थे। WIRED ने एवन और समरसेट पुलिस के डेटा विज्ञान कार्यक्रम के बारे में अन्य प्रासंगिक जानकारी के साथ इस डेटा को समीक्षा के लिए स्वतंत्र एआई ऑडिटिंग फर्म एटिकस को भेज दिया। फैसला विनाशकारी था.
डेटा समीक्षा में पाया गया, “इनमें से अधिकांश मॉडल कम परिशुद्धता स्कोर उत्पन्न करते हैं, जिसका अर्थ है कि जिन व्यक्तियों को वे जोखिम के रूप में चिह्नित करते हैं उनका एक बड़ा हिस्सा गलत तरीके से पहचाना जाता है।” पुलिस डेटा के अनुसार, चोरों की भविष्यवाणी करने में मदद करने के लिए इस्तेमाल किया जाने वाला एक मॉडल तीन साल से अधिक समय तक 10 प्रतिशत से कम सटीक रेटिंग के साथ काम करता दिखाई दिया। एटिकस के अनुसार, इसका मतलब है कि 10 में से एक से भी कम को उच्च जोखिम के रूप में चिह्नित किया जाना वास्तव में अपमानजनक होगा। अन्य चिंताओं में विभिन्न मॉडलों के लिए प्रदर्शन मेट्रिक्स में तेजी से बदलाव शामिल है। ऑडिट में कहा गया, “यह परिचालन उपयोग में सुशासित मॉडलों के लिए विशिष्ट नहीं है।”
एवन और समरसेट पुलिस के एक प्रवक्ता ने WIRED को बताया कि बल ने अपने द्वारा विकसित कुछ मॉडलों को तैनात नहीं करने का फैसला किया, जिनमें चोरी से संबंधित मॉडल भी शामिल है। जब पूछा गया कि बल के पास उन मॉडलों के लिए वर्षों का ऑडिट और प्रदर्शन डेटा क्यों है, जिनका उसने उपयोग नहीं किया, तो प्रवक्ता ने कहा कि ऑडिट प्रक्रिया “स्वचालित” थी और एक “स्थैतिक फ़ाइल” से डेटा का उपयोग किया गया था, जिसे मॉडल को तैनात नहीं करने का निर्णय लेने पर हटाया नहीं गया था।
पुलिस बल ने अपने डेटा विज्ञान कार्य के बारे में साक्षात्कार के अनुरोधों को अस्वीकार कर दिया और प्रश्नों की विस्तृत सूची का पूरी तरह से जवाब नहीं दिया। एवन और समरसेट पुलिस के प्रवक्ता ने एक बयान में कहा, “प्रत्येक मॉडल को उसके प्रदर्शन के आधार पर स्कोर किया जाता है, और जहां मुद्दों की पहचान की जाती है, उन्हें अपडेट या बंद कर दिया जाएगा।” उन्होंने कहा कि मॉडल को तैनात करने से पहले एक पुलिस विषय विशेषज्ञ द्वारा समीक्षा की जाती है।
यह स्पष्ट नहीं है कि एवन और समरसेट पुलिस ने अपने डेटा विज्ञान कार्य के शुरुआती दिनों में अपनी स्वयं की नैतिक समिति द्वारा उठाए गए जोखिमों को दूर करने के लिए क्या कदम उठाए। रिकॉर्ड अनुरोध प्रकटीकरण के अनुसार, समिति 2017 के बाद फिर से भविष्य कहनेवाला विश्लेषण पर चर्चा करने के लिए उपस्थित नहीं हुई। और जबकि एवन और समरसेट पुलिस अपनी वेबसाइट पर कहती है कि उसके डेटा विज्ञान कार्य के हिस्से के रूप में अपनाए गए “प्रत्येक उत्पाद और परियोजना” की समीक्षा एक समर्पित नैतिकता समूह द्वारा की जाती है, प्रवक्ता ने WIRED को बताया “अभी तक कोई बैठक नहीं हुई है,” क्योंकि “कोई मॉडल तैयार नहीं किया गया है जिसके लिए संभावित नैतिक मुद्दों की पहचान की गई हो।”
एक सार्वजनिक रिकॉर्ड अनुरोध के जवाब में, एवन और समरसेट पुलिस ने एक “पूर्वाग्रह जांच ऐप” का स्क्रीनशॉट प्रदान किया, जो श्वेत व्यक्तियों और रंगीन लोगों के लिए औसत जोखिम स्कोर की निगरानी और तुलना करता हुआ दिखाई दिया, जिससे यह निष्कर्ष निकला कि “दोनों के बीच कोई महत्वपूर्ण अंतर नहीं था।” एटिकस समीक्षा में कहा गया है: “निगरानी चर के रूप में जातीयता को शामिल करना यह परीक्षण करने के बराबर नहीं है कि मॉडल भेदभावपूर्ण परिणाम उत्पन्न करता है या नहीं,” जातीयता, लिंग और सामाजिक आर्थिक स्थिति द्वारा अधिक विस्तृत परीक्षण की अनुपस्थिति को “एक महत्वपूर्ण चूक” के रूप में वर्णित किया गया है।
यह पूछे जाने पर कि क्या उनका मानना है कि पूर्वानुमानित विश्लेषण की पुलिसिंग या सामाजिक कार्यों में कोई भूमिका है, डेविस कहते हैं कि और काम करने की जरूरत है। “जब हम इसे करने की कोशिश कर रहे थे, तो हम इसे सही कारणों से, सही तरीके से करने की कोशिश कर रहे थे, लेकिन हमारे पास वह क्षमता नहीं थी जिसकी शायद इसके लिए ज़रूरत थी।” उनका कहना है कि उस काम के हिस्से में यह देखना चाहिए कि जोखिम मॉडल श्रमिकों को बिना किसी निष्कर्ष पर पहुंचाए कैसे सूचित कर सकते हैं। “एक जोखिम है कि कर्मचारी कंप्यूटर को देखकर कुछ कहते हैं और फिर अपने निर्णय का उपयोग नहीं करते हैं।”
पूर्वानुमानित विश्लेषण क्षेत्र में पुलिसिंग और सार्वजनिक सेवाओं में महत्वपूर्ण भूमिका निभा रहा है। ब्रिस्टल सिटी काउंसिल अभी भी किसी बच्चे के शिक्षा, रोजगार या प्रशिक्षण से बाहर होने की संभावना का आकलन करने के लिए जोखिम-स्कोरिंग मॉडल का उपयोग करती है। पिछले साल जुलाई में प्रदान किए गए एवन और समरसेट पुलिस के नवीनतम ऑडिट डेटा से संकेत मिलता है कि अपराधी प्रबंधन ऐप द्वारा इस्तेमाल किया गया मॉडल सही ढंग से उन तीन लोगों में से केवल एक की भविष्यवाणी करता है जो वास्तव में अपराध करते हैं, जबकि संभावित अपराधियों के रूप में चिह्नित चार लोगों में से एक ऐसा नहीं करता है।
