İçeriğe geç
Telesurety

Araştırma

Araştırma gündemimiz

Platformun yapay zekâ çekirdeği beş açık problem üzerine kurulu. Bunlar hazır bir modele bağlanarak çözülemeyecek kadar alana özgü; her biri ayrı bir ölçütle değerlendirilecek.

Öne çıkanlar

Ruhsat okumada başlangıç çizgisi
%85,7
Gerçek ruhsatlarda ölçülen alan doğruluğu; yeni modeller bu çizgiye göre değerlendirilecek.
Modellerin çalıştığı yer
Kurum içi
Kişisel veri yalnız Türkiye'deki kurum içi sunucularda çalışan modellerde işlenir.
Sonuçların paylaşımı
Açık
Beklentiyi karşılamayan denemeler dahil, sonuçlar bu sayfada yazılar olarak paylaşılacak; ilk yazılar ölçüm sonuçları hazır olduğunda yayımlanacak.

Bugün ölçülmüş tek rakamımız, gerçek ruhsatlardaki %85,7 alan doğruluğu; bu, bütün alanlar için tek bir toplam oran. Alan türüne göre sonuçlar ve hiç görülmemiş belge düzenleri için ayrı ölçüm sıradaki iş. Poliçe soru-cevabı prototip aşamasında; öteki problemler için henüz ölçülmüş sonuç yok.

Yöntem

Önce ölçüt. Sonra model.

  1. 01 / 05

    Test seti ayrılır

    Ölçüm, eğitimde hiç kullanılmamış gerçek belgelerle yapılır. Modelin hiç görmediği şirket düzenleri ayrı bir grup olarak tutulur.

  2. 02 / 05

    Başlangıç yazılır

    Başlangıç çizgisi işe başlamadan kaydedilir. Ruhsat okumada bugünkü çizgi, gerçek ruhsatlarda %85,7 alan doğruluğu.

  3. 03 / 05

    Model denenir

    Bugünkü ruhsat okuma modelinin yanında düzen analizi ve şemaya bağlı çıktı veren küçük modeller aynı test setinde denenecek; her alan bir güven skoruyla dönecek.

  4. 04 / 05

    Alan bazında ölçülür

    Sonuç tek bir ortalama olarak değil, alan türüne göre verilecek; görülmemiş düzenler ayrıca ölçülecek.

  5. 05 / 05

    Düzeltmeler geri döner

    Personelin düzeltmeleri etiket olarak toplanacak. Hedef, aynı doğruluğa daha az etiketle ulaşmak ve eski şirketlerdeki başarıyı düşürmeden öğrenmek.

  6. Temsilî görünüm. Görseldeki adlar ve değerler örnektir. Önce ölçüt. Test seti ayrılır, Başlangıç yazılır, Model denenir, Alan bazında ölçülür, Düzeltmeler geri döner.

Açık problemler

Beş problem

  1. P1

    Düzeni değişen belgelerden alan çıkarımı

    Açık soru
    Kurum içinde çalışan küçük bir model, hiç görmediği bir şirketin belge düzeninde yeterli doğruluğa ulaşabilir mi? Yeni bir şirket için kaç etiketli örnek gerekir?
    Yaklaşım
    Belgeye özel ince ayarlı metin tanıma ve düzen analizi; şemaya bağlı çıktı veren küçük bir dil ya da görsel-dil modeli; biçim ve çapraz kontrol kuralları.
    Nasıl ölçeceğiz
    Alan bazında doğruluk; ayrıca hiç görülmemiş şirket düzenlerinde ayrı ölçüm. Başlangıç çizgisi: gerçek ruhsatlarda bugün %85,7.
  2. P2

    Güven kalibrasyonu

    Açık soru
    Modelin verdiği güven skoru, gerçek doğrulukla örtüşür mü? Otomasyon eşiği alan bazında nasıl seçilmeli?
    Yaklaşım
    Sıcaklık ölçekleme ve konformal tahmin gibi kalibrasyon yöntemleri; alan türüne göre ayrı eşik.
    Nasıl ölçeceğiz
    Kalibrasyon hatası ve eşiğin üstünde kalan alanlardaki hata oranı.
  3. P3

    Teminat ontolojisi

    Açık soru
    Farklı şirketlerin teminat ifadeleri, koşullu teminatlar dahil, ortak bir modele doğru eşlenebilir mi?
    Yaklaşım
    Kasko, trafik, konut ve DASK için bir Türkçe teminat ontolojisi; vektör benzerliği ve dil modeliyle yeniden sıralama; uzman onayı.
    Nasıl ölçeceğiz
    Eşleme doğruluğu ve uzmanlar arası uyum.
  4. P4

    Kaynak gösteren soru-cevap

    Açık soru
    Küçük bir model poliçe ve sözleşme üzerinde belgeye sadık kalabilir mi; dayanağı olmayan soruda cevap vermemeyi öğrenebilir mi?
    Yaklaşım
    Tabloları bölmeyen, düzeni gözeten parçalama; her cevapta zorunlu alıntı; dayanak yoksa cevap vermeme.
    Nasıl ölçeceğiz
    Kaynaklı doğru cevap oranı ve uydurma cevap oranı.
  5. P5

    Düzeltmelerden öğrenme

    Açık soru
    Personelin düzeltmeleri etiket olarak kullanılarak etiketleme yükü ne kadar azaltılabilir?
    Yaklaşım
    Düzeltmelerin etiket olarak toplanması, belirsizlik örneklemesi, eski şirketlerdeki başarıyı düşürmeyen sürekli eğitim.
    Nasıl ölçeceğiz
    Aynı doğruluk için gereken etiket sayısı; rastgele seçime göre karşılaştırma.

Araştırma hatları

Belgeyi okumaktan, işi onayınıza hazırlamaya.

Temsilî görünüm. Görseldeki adlar ve değerler örnektir.

Belge zekâsı

Kısmen canlı

Ruhsatla başlayan belge zekâsı.

Bugün canlıda çalışan yapay zekâ ruhsat okumadır: Türk ruhsatlarına ince ayar yapılmış, kurum içinde çalışan bir metin tanıma modeli. Gerçek ruhsatlarda %85,7 alan doğruluğu ölçüldü; bu oran araştırmanın başlangıç çizgisidir. Aynı yöntemin poliçe, teklif, ehliyet, kimlik, fatura ve hasar belgelerine genişletilmesi yol haritasında.

  • Her değer iki denetimden geçer: sabit bir biçim kuralı ve eşiği ölçümle belirlenen model güveni. İkisinden biri eksikse alan kontrol için işaretlenir.
  • Yeni tip ruhsatlarda önce belgenin kendi QR kodu çözülür. Gerçek ruhsat denemelerinde QR kodu, metin okuyucunun yüksek güvenle verdiği hatalı seri harflerini düzeltti.
  • Görüntü bellekte işlenip atılır, diske yazılmaz. Okunan değer forma ancak kullanıcı aktardığında geçer.
  • Güven kalibrasyonu ayrı bir araştırma başlığı: gerçek ruhsatlarda eşiği yükseltmek bugün daha yüksek isabet getirmiyor.
  • Yol haritası: belge düzeni analizi, kurum içinde LoRA ile ince ayar yapılmış küçük bir dil ya da görsel-dil modeliyle çalışacak. Çıktı sabit bir şemaya bağlı kalacak; her alan için değer, güven skoru, belgedeki konum ve model sürümü dönecek.
Temsilî görünüm. Görseldeki adlar ve değerler örnektir.

Kaynak gösteren soru-cevap

Prototip

Küçük bir model belgeye sadık kalabilir mi?

Bugün çalışan parça bir prototip: yüklenen poliçe ya da teklif PDF'ine Türkçe soru cevaplıyor, belgeye dayanan cevabın kaynağını sayfa numarasıyla gösteriyor ve tamamen kurum içinde çalışıyor. Sözleşme zekâsı ise yol haritasında: acentelik ve web servis sözleşmeleri ile KVKK metinlerinde her cevabı dayandığı maddeyle verecek, dayanak yoksa hüküm bulunmadığını söyleyecek.

  • Prototip; küçük, açık ağırlıklı bir dil modeli, yerel bir gömme modeli ve kendi barındırdığımız bir vektör veritabanıyla çalışıyor. Dışarıdaki hiçbir yapay zekâ servisini çağırmıyor.
  • Teminat limiti sorularında, belgede tutar satırı bulunduğunda cevabı dil modeli yazmıyor; teminat satırları ve tutarları belgeden doğrudan alınıyor.
  • Sınırları açık: kaynak sayfa düzeyinde, madde düzeyinde atıf henüz yok. Dayanak yetersiz kaldığında cevap vermemeyi henüz bilmiyor; modele susmayı öğretmek araştırmanın asıl konusu.
  • Yöntem, yol haritasında: tabloları bölmeyen, düzeni gözeten parçalama; her cevapta zorunlu alıntı; dayanak yoksa cevap vermeme.
  • Ölçüm, yol haritasında: kaynaklı doğru cevap oranı ve uydurma cevap oranı ayrı ayrı ölçülecek. Hedefler öneri olarak yazıldı; ölçülmüş sonuç henüz yok.
Temsilî görünüm. Görseldeki adlar ve değerler örnektir.

AI Asistan ve Ajanlar

Yol haritası

Sigortayı bilecek kurum içi bir model, işi onayınıza hazırlayacak ajanlar.

Asistan, en az 12B parametreli kurum içi bir dil modeliyle çalışacak. Model sıfırdan eğitilmeyecek; açık ağırlıklı bir modelin üzerine kurulup LoRA ile sigorta terimlerine, şemaya uygun çıktıya ve kaynaktan alıntı yapmaya uyarlanacak. Bilgi her zaman belgeden ve kayıttan gelecek. Hepsi yol haritasında; bugün bu boyutta çalışan bir model yok.

  • Poliçe ve mevzuat asistanı, sorulara ilgili sayfayı göstererek cevap verecek; dayanak bulamazsa bulamadığını söyleyecek.
  • Teklif ve yenileme ajanı ile gelen kutusu ve hasar ajanı, panelin kendi uçlarını sizin yetkinizle araç olarak kullanacak; onlar için ayrı bir iş mantığı yazılmayacak.
  • Şirket seçimi, prim ve yetki kuralda kalacak. Model fiyat tahmini yapmayacak; geri dönüşsüz her işlem onay kartında bekleyecek.
  • Türkçe sesli komut ayrı bir araştırma konusu: sigorta terimleri ve plakalar içeren Türkçe konuşmayı kurum içinde metne çevirmek. Yazarak kullanım bu araştırmayı beklemeyecek.
  • Bugün çalışan temel: prototip aşamasındaki personel uygulaması, poliçe soru-cevap prototipi ve panelin canlı sunucu tarafı yetki denetimi. Hiçbir model sürümü, uzmanların hazırladığı test setlerini geçmeden canlıya çıkmayacak.

Altyapı ve ilkeler

Araştırma nerede, hangi kurallarla yürür.

Modellerin çalıştığı yer
Kurum içinde. Ruhsat okuma GPU gerektirmeden işlemci üzerinde çalışır, internete kapalıdır ve belgeyi diske yazmaz. Planlanan modeller de Türkiye'deki kurum içi sunucularda çalışacak; telefonda model çalışmayacak.
Eğitim verisi
Kişisel veri yalnız kurum içindeki modellerde işlenir. Dış bir model yalnız 'öğretmen' olarak, anonim ya da sentetik veriden eğitim örneği üretmek için kullanılabilir. Kurumun verisi eğitimde ancak açık onayıyla ve anonimleştirildikten sonra kullanılacak.
Yayın kuralı
Değerlendirme setlerinde dokunmadan kayıt oranını düşüren model sürümü yayımlanmayacak.
Bugünkü başlangıç çizgisi
Gerçek ruhsatlarda %85,7 alan doğruluğu. Bugünkü kural tabanlı okuyucular ile ince ayar yapılmamış hazır metin tanıma ve genel dil modeli de karşılaştırma için taban çizgisi olacak.

Sorular

Araştırma hakkında sorular

Araştırmanın hangi kısmı bugün kullanımda?

Ruhsat okuma canlıda; operasyon panelinde teklif ve müşteri formlarında çalışıyor. Poliçe ve teklif PDF'leri üzerinde kaynak gösteren soru-cevap prototip aşamasında. Düzenden bağımsız okuma ve hasar evrakı, sözleşme zekâsı, Türkçe teminat modeli ve AI asistan yol haritasında.

%85,7 nasıl ölçüldü?

Gerçek ruhsatlar üzerinde, alan doğruluğu olarak ölçüldü ve ölçüm küçük bir gerçek belge setine dayanır. Sentetik ruhsatlarda ölçülen daha yüksek isabet gerçek belgeye aynen taşınmaz. Bu yüzden her değer bir kişinin onayına gider ve yeni modeller gerçek belgelerle ölçülür.

Neden hazır bir büyük modele bağlanmıyorsunuz?

Problemler bu yolla çözülemeyecek kadar alana özgü ve kişisel veri kurum dışındaki bir yapay zekâ hizmetine gönderilmez. Bunun yerine açık ağırlıklı küçük modeller kurum içinde, LoRA ile sigorta terimlerine, şemaya uygun çıktıya ve kaynaktan alıntı yapmaya uyarlanacak; sıfırdan model eğitilmeyecek. Büyük bir bulut modeli yalnız anonim ya da sentetik belgelerle 'öğretmen' olarak kullanılabilecek.

Model emin olamazsa ne olur?

Her alan bir güven skoruyla gelir. Skoru eşiğin altında kalan ya da biçim kuralını geçemeyen alan kayda kendiliğinden yazılmaz; bir kişinin onayına düşer. Modelin verdiği güvenin gerçek doğrulukla örtüşüp örtüşmediği ayrı bir araştırma problemi: güven kalibrasyonu.

Düzeltmelerimiz model eğitiminde kullanılacak mı?

İlke olarak personelin düzeltmeleri, ancak kiracının açık onayıyla ve anonimleştirildikten sonra eğitim verisine dönüşecek. Hedef, aynı doğruluğa daha az etiketle ulaşmak ve eski şirketlerdeki başarıyı düşürmeden öğrenmek.

Sonuçları nerede göreceğiz?

Bu sayfadaki yazılarda. Henüz yayımlanmış yazı yok; ilk yazılar ölçüm sonuçları hazır olduğunda burada yer alacak. Beklentiyi karşılamayan denemeler de paylaşılacak.

Sonuçlar

Yazılar

Henüz yayımlanmış yazı yok. İlk yazılar ölçüm sonuçları hazır olduğunda burada yer alacak.