Openai'nin chatgpt platformu, LLM'nin sanal alanına büyük ölçüde erişim sağlar, bu da programları ve dosyaları yüklemenize, komutları yürütmenize ve Sandbox'ın dosya yapısına göz atmanıza olanak tanır.
ChatGPT Sandbox, kullanıcıların diğer kullanıcılardan ve ana bilgisayar sunucularından duvarlanırken BT ile güvenli bir şekilde etkileşime girmesini sağlayan izole bir ortamdır.
Bunu, hassas dosyalara ve klasörlere erişimi kısıtlayarak, internete erişimi engelleyerek ve kusurlardan yararlanmak veya potansiyel olarak kum havuzundan patlamak için kullanılabilecek komutları kısıtlamaya çalışarak yapar.
Mozilla'nın 0 günlük araştırma ağı 0din'den Marco Figueroa, Python komut dosyalarını yükleme ve yürütme ve LLM'nin oyun kitabını indirme yeteneği de dahil olmak üzere sanal alanına kapsamlı erişim elde etmenin mümkün olduğunu keşfetti.
Yayınlamadan önce sadece BleepingComputer ile paylaşılan bir raporda Figueroa, Openai'ye sorumlu bir şekilde bildirdiği beş kusur sergiliyor. AI firması sadece bunlardan birine ilgi gösterdi ve erişimi daha fazla kısıtlama planı sağlamadı.
ChatGPT'de bir Python projesi üzerinde çalışırken, Figueroa bir "Dizin Bulunmadı" hatası aldı, bu da bir ChatGPT kullanıcısının kum havuzu ile ne kadar etkileşime girebileceğini keşfetmesine yol açtı.
Yakında, ortamın kum havuzuna büyük bir erişim sağladığı, dosyaları yüklemenize ve indirmenize, programları ve klasörleri listelemenize, programları yüklemenize, bunları yürütmenize, Linux komutlarını yürütmenize ve sanal alanında depolanan dosyaları çıktı yapmasına olanak tanır.
Araştırmacı, 'LS' veya 'Liste Dosyaları' gibi komutları kullanarak, yapılandırma ve kurulum içeren '/home/sandbox/.openai_internal/' dahil olmak üzere temel sandbox dosya sisteminin tüm dizinlerinin bir listesini alabildi. bilgi.
Daha sonra, dosya yönetimi görevlerini denedi,/mnt/data klasörüne dosya yükleyebildiğini ve erişilebilen herhangi bir klasörden dosyaları indirebildiğini keşfetti.
BleepingComputer'ın deneylerinde, sanal alanının /et eti klasörü ve /etc /shadow gibi çeşitli dosyalar gibi belirli hassas klasörlere ve dosyalara erişim sağlamadığına dikkat edilmelidir.
Chatgpt kum havuzuna bu erişimin çoğu geçmişte açıklanmıştır ve diğer araştırmacılar bunu keşfetmek için benzer yollar buluyor.
Ancak araştırmacı, özel Python komut dosyalarını da yükleyebileceğini ve bunları kum havuzunda yürütebileceğini buldu. Örneğin, Figueroa "Merhaba Dünya!" Metnini çıkaran basit bir komut dosyası yükledi. ve çıktı ekranda görünürken yürüttü.
BleepingComputer ayrıca, sanal alanındaki tüm metin dosyalarını tekrarlayan bir şekilde arayan bir Python komut dosyası yükleyerek bu yeteneği test etti.
Yasal nedenlerden dolayı, araştırmacı, kum havuzundan kaçmak ve daha kötü niyetli davranışlar gerçekleştirmek için kullanılabilecek "kötü niyetli" komut dosyaları yükleyemediğini söyledi.
Yukarıdakilerin tümü mümkün olsa da, tüm eylemlerin kum havuzunun sınırları dahilinde sınırlandırıldığına dikkat edilmelidir, bu nedenle çevrenin düzgün bir şekilde izole edilmesi ve ana bilgisayar sistemine bir "kaçış" olmasına izin vermeden göründüğüne dikkat edilmelidir.
Figueroa ayrıca, chatbot'un genel model veya kullanıcı tarafından oluşturulan uygulamalarda nasıl davrandığını ve yanıt verdiğini yöneten chatgpt "Playbook" u indirmek için hızlı mühendislik kullanabileceğini keşfetti.
Araştırmacı, oyun kitabına erişimin şeffaflık sunduğunu ve cevapların nasıl oluşturulduğunu gösterdiği için kullanıcılarıyla güven oluşturduğunu, aynı zamanda korkulukları atlayabilecek bilgileri ortaya çıkarmak için de kullanılabilir.
Figueroa, "Öğretim şeffaflığı faydalı olsa da, bir modelin yanıtlarının nasıl yapılandırıldığını da ortaya çıkarabilir, bu da kullanıcıların tersine çevrici korkulukları tersine çevirmelerine veya kötü niyetli istemler enjekte etmesine izin verebilir."
Araştırmacı, "Gizli talimatlar veya hassas verilerle yapılandırılan modeller, kullanıcılar tescilli yapılandırmalar veya bilgiler toplamak için erişimi kullanırsa risklerle karşılaşabilir."
Figueroa, ChatGPT'nin iç ortamıyla etkileşime girmenin mümkün olmadığını gösterirken, bu etkileşimlerden doğrudan güvenlik veya veri gizliliği endişeleri ortaya çıkmaz.
Openai'nin kum havuzu yeterince güvenli görünür ve tüm eylemler sanal alan ortamı ile sınırlıdır.
Bununla birlikte, kum havuzu ile etkileşim olasılığı, Openai tarafından bir tasarım seçiminin sonucu olabilir.
Bununla birlikte, bu etkileşimlerin kullanıcılar için işlevsel sorunlar yaratabileceğinden, dosyaların taşınması sanal alanını bozabileceğinden, bu kasıtlı olması muhtemel değildir.
Ayrıca, yapılandırma ayrıntılarına erişmek, kötü amaçlı aktörlerin AI aracının nasıl çalıştığını ve tehlikeli içerik üretmesi için savunmaların nasıl atlanacağını daha iyi anlamalarını sağlayabilir.
"Playbook", modelin temel talimatlarını ve özel detaylar ve güvenlik ile ilgili yönergeler de dahil olmak üzere, potansiyel olarak tersine mühendislik veya hedefli saldırılar için bir vektör açan özelleştirilmiş kuralları içerir.
BleepingComputer bu bulgular hakkında yorum yapmak için Salı günü Openai ile temasa geçti ve bir sözcü bize sorunlara baktıklarını söyledi.
Openai, tehdit aktörlerinin kötü amaçlı yazılım yazmak için chatgpt kullandıklarını doğrular
Openai'nin yeni chatgpt arama krom uzantısı bir arama korsanı gibi geliyor
Chatgpt-4o otonom ses tabanlı dolandırıcılık için kullanılabilir
Sahte AI video jeneratörleri pencereleri enfekte eder, infosterers ile macOS
Yeni Google Pixel AI özelliği dolandırıcılık için telefon görüşmelerini analiz ediyor
Kaynak: Bleeping Computer