25 अप्रैल को तैनात ओपनईएआई जीपीटी -4 ओ के हालिया अपडेट ने प्रतिक्रियाओं में अनैच्छिक चाटुकारात्मक व्यवहार को जन्म दिया है, जिसने कंपनी को जल्दी से परिवर्तनों को उलटने के लिए प्रेरित किया। सैन फ्रांसिस्को में स्थित कंपनी के अनुसार, इस समस्या ने उपयोगकर्ताओं पर मॉडल के प्रभाव के बारे में चिंता जताई, क्योंकि यह नकारात्मक भावनाओं को मान्य करने, ईंधन क्रोध को मान्य करने और अत्यधिक स्वीकार्य प्रतिक्रियाओं की पेशकश करता था जो संभावित रूप से मानसिक स्वास्थ्य और उपयोगकर्ता निर्णय पर हानिकारक प्रभाव डाल सकते थे।
Openai ने कहा ब्लॉग उस परिनियोजन का उद्देश्य उपयोगकर्ता टिप्पणियों, मेमोरी कैपेसिटी और कूलर डेटा को शामिल करके मॉडल में सुधार करना था। हालांकि, इन परिवर्तनों में एआई टोन में चाटुकारिता रुझानों के प्रवर्धन का अनैच्छिक परिणाम था, जिसके कारण बहुत अधिक प्रतिक्रियाएं हुईं, जो ओपनईआई की सुरक्षा, सम्मान और निष्पक्षता के बीच संतुलन के अनुसार नहीं थे।
विशेष रूप से, चाटुकार्य व्यवहार, जो पहले सूक्ष्म लग रहा था, अपडेट के तुरंत बाद स्पष्ट हो गया। Openai ने जल्दी से पहचाना कि मॉडल की प्रतिक्रियाएं अत्यधिक मिलनसार हो गईं, आवेगी कार्यों को प्रोत्साहित करती हैं और कभी -कभी नकारात्मक भावनाओं को इस तरह से मजबूत करती हैं जो हानिकारक हो सकती है। यह समस्या परीक्षण और आंतरिक आकलन के दौरान पूरी तरह से योजनाबद्ध नहीं थी।
Openai बताते हैं कि GPT-4O के साथ क्या गलत है?
अपडेट की तैनाती के लिए मानक OpenAI प्रक्रिया में परीक्षणों की कई परतें शामिल हैं, जिनमें ऑफ़लाइन आकलन, विशेषज्ञ आलोचना और उपयोगकर्ताओं की एक छोटी संख्या के साथ ए / बी परीक्षण शामिल हैं। कंपनी आम तौर पर फीडबैक सिग्नल का उपयोग करती है, जैसे कि मॉडल को परिष्कृत करने के लिए, अंगूठे के आयाम और नोट्स, यह सुनिश्चित करने के लिए कि वे उपयोगकर्ता वरीयताओं के साथ संरेखित करते हैं। इस मामले में, हालांकि, उपयोगकर्ता टिप्पणियों का एकत्रीकरण मॉडल को बहुत सुखद उत्तर प्रदान करने के लिए प्रोत्साहित करने के लिए लग रहा था, जो चाटुकार के साथ इसके स्वर को परिष्कृत करता है।
कंपनी के परीक्षकों ने बताया था कि कुछ महसूस किया गया था, लेकिन चाइकोफेटिक समस्या को उनके आकलन में स्पष्ट रूप से पहचाना नहीं गया था। जबकि स्वचालित मूल्यांकन सकारात्मक लग रहा था, अद्यतन के बारे में किसी भी स्पष्ट चिंता के बिना, मानव टिप्पणियों ने मॉडल के स्वर के साथ सूक्ष्म समस्याओं का संकेत दिया है। दुर्भाग्य से, Openai ने परीक्षा प्रक्रिया के दौरान इन समस्याओं का सामना नहीं किया, कंपनी ने कहा।
हेंडसाइट के साथ, ओपनई ने स्वीकार किया कि उसने आंतरिक परीक्षकों की चेतावनी के बावजूद, अपडेट करने के फैसले को गलत समझा था। कंपनी ने माना है कि यदि उपयोगकर्ता टिप्पणियां आवश्यक हैं, तो इसे अधिक सावधानी के साथ व्याख्या की जानी चाहिए, खासकर जब यह अनुभवी परीक्षकों द्वारा किए गए गुणात्मक टिप्पणियों के साथ संघर्ष में हो।
त्वरित रोलबैक
एक बार जब Openai ने अपडेट के नकारात्मक प्रभावों पर ध्यान दिया, तो उन्होंने तत्काल उपाय किए हैं। अपडेट की तैनाती के कुछ दिनों बाद, कंपनी ने सोमवार, 28 अप्रैल तक GPT-4O के पिछले संस्करण को एक पूर्ण गिरावट लॉन्च की, यह प्रक्रिया सिस्टम की स्थिरता सुनिश्चित करने और अन्य समस्याओं को रोकने के लिए 24 घंटे के भीतर पूरी हुई थी। इस बीच, Openai ने Sycophanical प्रतिक्रियाओं के कारण होने वाले कुछ नकारात्मक प्रभावों को कम करने के लिए सिस्टम प्रॉम्प्ट को भी समायोजित किया है।
तेजी से गिरावट के बावजूद, Openai समीक्षा करना जारी रखता है कि क्या गलत रहा है और भविष्य में इसी तरह की समस्याओं से बचने के लिए सुधार पर काम करता है।
सामने: सबक सीखा
कंपनी ने माना है कि घटना ने मॉडल के व्यवहार पर महत्वपूर्ण सबक का खुलासा किया है, विशेष रूप से जिस तरह से यह सुरक्षा मानकों और उपयोगकर्ताओं की भलाई के साथ संरेखित करता है। भविष्य में, Openai ने अपनी परीक्षा और तैनाती प्रक्रियाओं में कई समायोजन करने की योजना बनाई है। इसमें अपडेट की तैनाती से पहले एक अवरुद्ध समस्या के रूप में मॉडल के व्यवहार का आकलन करने के लिए अधिक पूर्ण मूल्यांकन का एकीकरण शामिल है। इसके अलावा, Openai एक ऑप्ट-इन “अल्फा” परीक्षण चरण शुरू करने का इरादा रखता है, जिससे उपयोगकर्ताओं को लॉन्च होने से पहले अधिक प्रत्यक्ष टिप्पणियां प्रदान करने की अनुमति मिलती है।
