Prompt Mühendisliği, yapay zekâ modelleriyle etkileşim kurarken kullanılan komutların veya istemlerin (prompt) nasıl formüle edileceğini optimize etmeye yönelik bir süreçtir.  Günümüzde GPT-3.5 Turbo, GPT-4 ve Claude 3 gibi büyük dil modelleri (LLM’ler) talimatları takip edecek şekilde ayarlanmışlar ve büyük miktarda veri üzerinde eğitilmektedir. Büyük ölçekli eğitim, bu modellerin bazı görevleri “Sıfır Atışlı Yönlendirme (Zero-Shot Chain-of-Thought)” tarzında yerine getirmesini sağlar. Zero-Shot Chain-of-Thought, özellikle büyük dil modellerinde gözlemlenen, bir problemi çözerken adım adım düşünme sürecini taklit eden bir tekniktir. Bu teknik, modelin bir soruyu doğrudan cevaplamadan önce, problemin çözümü için gerekli ara adımları açıklamaya zorlar.

Yani sıfır atışlı yönlendirme, modelle etkileşimde bulunmak için kullanılan istemin örnekler veya gösterimler içermeyeceği anlamına gelir. Sıfır atış istemi, modele, onu yönlendirecek herhangi bir ek örnek olmadan doğrudan bir görevi gerçekleştirme talimatını verir.

Zero-shot learning, bir modelin önceden görmediği görevlerde nasıl performans gösterdiğini değerlendirmek için kullanılır. Yani, model önceden bu tür görevler için özel olarak eğitilmemiş olmasına rağmen, genel bilgi ve öğrenme yeteneği sayesinde yeni problemleri çözebilir. Chain-of-Thought yaklaşımında ise, model bir sorunu çözerken, insanların karmaşık problemleri çözerken izlediği adımlara benzer bir süreç izler; düşünme adımlarını sıralar ve bu adımları kullanarak sonuca ulaşır.

Zero shot learning kullanımı büyük ölçüde, büyük dil modellerinin (GPT-3, T5, vb.) geliştirilmesiyle birlikte artmıştır. Bu modeller, doğal dil işleme, görüntü tanıma, çeviri ve diğer pek çok görevde insan benzeri performans sergilemektedir. Zero shot learning, bu tür görevlerde büyük bir zorluk olan, etiketlenmemiş verilerle çalışabilme yeteneğini sağlar.

Zero-shot learning, bir makine öğrenmesi yöntemidir ve bu yöntemde model, eğitim sürecinde hiç örneklenmemiş sınıfları tanıyıp sınıflandırabilir. Modelin, eğitim verilerinde doğrudan yer almayan nesne veya kavramları tanıma yeteneğine dayanır. Zero-shot learning’de, model genellikle eğitim sırasında verilen sınıflar arasındaki ilişkileri ve özellikleri öğrenir. Ardından, bu bilgiyi kullanarak yeni, daha önce görülmemiş sınıfları tanımaya ve doğru bir şekilde sınıflandırmaya çalışır. Bu süreç, özellikle etiketlenmiş verilerin kısıtlı olduğu veya elde edilmesi zor olan durumlarda faydalıdır. Model, genellikle sınıfları açıklayan özellikler veya açıklamalar üzerinden bu tanıma yeteneğini geliştirir, bu nedenle eğitim süreci sırasında sunulan verilerin kalitesi ve kapsamı oldukça önemlidir.

Sıfır Atış Düşünce Zinciri Uyarısı Nedir?

Sıfır Atış Düşünce Zinciri (Zero-shot-CoT) istemi, inanılmaz derecede basit bir sıfır atış istemi sunan CoT istemi devamı niteliğindedir. Bir sorunun sonuna ” Adım adım düşünelim. ” kelimesini ekleyerek LLM’nin soruyu yanıtlayan bir düşünce zinciri oluşturabildiğini buldular. Bu düşünce zincirinden daha doğru yanıtlar çıkarabilirler.

Teknik olarak, Zero-shot-CoT sürecinin tamamı iki ayrı istemi/tamamlamayı içerir. Aşağıdaki resimde, sol üstteki baloncuk bir düşünce zinciri oluştururken, sağdaki üstteki baloncuk ilk istemin çıktısını (ilk istemin kendisi dahil) alır ve düşünce zincirinden cevabı çıkarır. Bu ikinci istem, kendi kendine genişletilmiş bir istemdir.

Zero-shot-CoT ile CoT istemi arasındaki fark nedir?

Zero-shot-CoT ve CoT yönlendirmelerinin her ikisi de mantığa dayalı muhakeme üreterek model yanıtlarını iyileştirmeyi ve daha doğru yanıtlar elde etmeyi amaçlıyor. Ancak Zero-shot-CoT’de, düşünce zinciri yanıtlarının girdi örneklerini eklemek zorunda değiliz; bunun yerine yalnızca promptun sonuna “Adım adım düşünelim” sözcüklerini eklersek daha iyi olur.

Bu tür ifadeleri kullanmak, modelin sorun çözme sürecini daha yapılandırılmış ve aşamalı bir şekilde ilerletmesine yardımcı olabilir. Bu ifadeler, modelin düşünme sürecini açıkça modellemesine ve daha şeffaf bir şekilde sorun çözme adımlarını sıralamasına olanak tanır. Karmaşık veya çok adımlı problemleri çözerken yararlıdır. Modelin her adımı açıkça ifade etmesi, çözüm sürecinin anlaşılmasını ve doğruluğunun artırılmasını sağlayabilir.

Zero-shot-CoT ne zaman en etkilidir?

Zero-shot Chain-of-Thought (Zero-shot CoT) yaklaşımı, özellikle büyük dil modellerinin karmaşık sorunları çözme yeteneklerini artırmada etkili olabilir. Bu teknik, modelin daha önce eğitim görmediği problemlere çözüm getirme yeteneğini artırarak, problemleri çözerken ara adımları izlemesine olanak tanır. Bu yaklaşımın en etkili olduğu durumlar şunlar olabilir:

1. Karmaşık Mantıksal ve Matematiksel Sorunlar: Zero-shot CoT, özellikle çok adımlı mantıksal işlemler veya matematiksel hesaplamalar gerektiren problemler için etkilidir. Modelin adım adım düşünme sürecini taklit etmesi, bu tür karmaşık soruları daha etkili bir şekilde çözmesine yardımcı olur.

2. Genel Bilgiyi Kullanma Durumları: Genel bilgi veya “sağduyu” gerektiren durumlar için Zero-shot CoT özellikle faydalıdır. Bu, modelin çeşitli bilgileri entegre edip, günlük durumlar veya gözlemledikleri hakkında mantıklı sonuçlar çıkarmasına imkân tanır.

3. Çok Adımlı Akıl Yürütme Gerektiren Durumlar: Örneğin, bir hikâye anlatma veya planlama gibi durumlar, bir dizi mantıksal adım gerektirebilir. Zero-shot CoT, bu tür senaryolarda modelin her adımı ayrı ayrı değerlendirmesini ve bütünsel bir sonuca varmasını sağlar.

4. Soyut ve Teorik Sorular: Felsefi sorular veya soyut kavramları değerlendirmek gibi, doğrudan ve somut verilerin olmadığı durumlarda Zero-shot CoT, modelin daha derin düşünmesine ve soyut kavramlar arası bağlantılar kurmasına olanak tanır.

5. Yeni ve Beklenmedik Senaryolar: Modelin daha önce karşılaşmadığı veya eğitilmediği yeni tür sorular veya durumlarla karşılaştığında, Zero-shot CoT, modelin genel bilgi ve önceki öğrenimlerinden yararlanarak bu yeni durumları ele almasını sağlar.

Bu teknik, yapay zekâ modellerinin daha bağımsız ve esnek şekilde problem çözmelerine yardımcı olurken, aynı zamanda modelin çözüm sürecini daha anlaşılır ve takip edilebilir hale getirir.

Zero-shot-CoT’ta herhangi bir sınırlama var mı?

Evet. Şaşırtıcı olmayan bir şekilde, Zero-shot-CoT, özellikle muhakeme görevleri daha karmaşık olduğunda CoT yönlendirmesi kadar etkili değildir. Ayrıca, yanıt çıkarma adımı genellikle göreve özgüdür ve ilk başta göründüğü kadar genelleştirilebilir değildir.