Cloudflare Crawl Endpoint'inin Shopify Magazalariyla Artilari ve Eksileri

Cloudflare /crawl Endpoint’i Nedir?

Cloudflare’in /crawl endpoint’i, su anda acik betada olan Browser Rendering API’lerinin bir parcasidir. Bir baslangic URL’sinden icerik toplar, yapilandirilabilir bir derinlik veya sayfa sinirina kadar site genelinde baglantilari takip eder ve sonuclari HTML, Markdown veya Workers AI tarafindan desteklenen yapisal JSON olarak dondurur. Cloudflare, bunu modelleri egitmek, RAG boru hatlari olusturmak ve bir sitedeki icerigi arastirmak veya izlemek icin bir arac olarak konumlandirir.

Endpoint, varsayilan olarak robots.txt ve Cloudflare’in AI Crawl Control’unu destekleyen imzali bir ajan olarak calisir, bu da dikkate deger bir tasarim tercihi. Gelistiricilerin web sitesi kurallarina uymasini kolaylastirmak ve tarayicilarin site sahibi rehberligini gormezden gelmesini zorlastirmak icin tasarlanmistir.

Endpoint su adreste bulunur:

https://api.cloudflare.com/client/v4/accounts/<account_id>/browser-rendering/crawl

Kullanmak icin Browser Rendering Edit iznine sahip bir Cloudflare API anahtarina ihtiyaciniz vardir.

Nasil Calisiyor

Tarama, iki adimda asenkron bir is olarak calisir:

1. Baslangic URL’si iceren bir POST istegi ile taramayi baslatma. API hemen bir is kimligini dondurur.
2. Bu is kimligini kullanarak GET istekleriyle sonuclari sorgulama. Is durumu running‘den completed‘a degistiginde, taranan verileriniz hazirdir.

Isler yedi gune kadar calisabilir. Sonuclar tamamlandiktan sonra 14 gun boyunca saklanir.

Ne Gonderiyorsunuz

Minimum olarak bir URL gonderirsiniz:

curl -X POST 'https://api.cloudflare.com/client/v4/accounts/{account_id}/browser-rendering/crawl' \
  -H 'Authorization: Bearer <apiToken>' \
  -H 'Content-Type: application/json' \
  -d '{
    "url": "https://example.com"
  }'

Temel Parametreler

Ne Geri Aliyorsunuz

Taranan her sayfa, URL, durum, sectiginiz formatta icerik ve temel meta veriler (HTTP durum kodu, sayfa basligi, yonlendirmelerden sonraki son URL) iceren bir kayit olarak doner. render: true ile Open Graph etiketlerini de alirsiniz. Yanit ayrica faturalama gorunurlugu icin browserSecondsUsed ve 10 MB’yi asan sonuclari sayfalandirmak icin bir cursor icerir.

Canli bir Shopify magazasinin 24 sayflik render edilmis taramasindan gelen gercek is duzeyindeki yanit:

{
  "job_id": "a1b2c3d4-e5f6-7890-abcd-ef1234567890",
  "status": "completed",
  "total": 24,
  "finished": 24,
  "browserSecondsUsed": 58.38,
  "record_count": 24,
  "records": [
    {
      "url": "https://www.example-store.com/products/premium-widget-bundle",
      "status": "completed",
      "metadata": {
        "status": 200,
        "title": "Premium Widget Bundle | Example Store",
        "url": "https://www.example-store.com/products/premium-widget-bundle",
        "lastModified": "",
        "og:type": "product",
        "og:site_name": "Example Store",
        "og:title": "Premium Widget Bundle | Example Store",
        "og:image": "https://www.example-store.com/cdn/shop/files/product-image.jpg",
        "og:description": "Our best-selling bundle with everything you need..."
      },
      "markdown": "Store\n\nexample-store\n\nURL\n\nhttps://www.example-store.com\n\nCurrency\n\nUSD\n\n# Premium Widget Bundle\n\nOur best-selling bundle with everything you need..."
    }
  ]
}

render: true ile meta veri nesnesi, Open Graph alanlarinin tam setini icerir: tur, site adi, baslik, gorsel URL’si ve aciklama. Bunlar tarayici render sirasinda sayfanin OG meta etiketlerinden cekilir. render: false ile meta veri yalnizca HTTP durum kodunu, sayfa basligini ve son URL’yi icerir. Hicbir Open Graph alani cikarilmaz.

Markdown alani yalnizca ana icerigi degil, tum sayfa ciktisini icerir. Gezinme menuleri, mega menuler, alt bilgiler ve tekrarlanan sablon bloklarinin hepsi her kayitta yer alir. Testlerimizde, ortalama sayfa yaklasik 158 KB markdown dondurdu ve bunun yaklasik %90’i tekrarlanan sablondu. Bunu bir LLM veya RAG boru hattina besliyorsaniz, sablonu soyup gercek sayfa icerigini yalitmak icin kendi icerik cikarma mantiginiza ihtiyaciniz olacak.

Ayni magazanin render: false calistirdigimizda dondurukleri:

{
  "job_id": "f9e8d7c6-b5a4-3210-fedc-ba9876543210",
  "status": "completed",
  "total": 266,
  "finished": 266,
  "browserSecondsUsed": 0,
  "record_count": 256,
  "records": [
    {
      "url": "https://www.example-store.com/products/classic-knit-sweater",
      "status": "completed",
      "metadata": {
        "status": 200,
        "title": "Classic Knit Sweater | Example Store",
        "url": "https://www.example-store.com/products/classic-knit-sweater",
        "lastModified": ""
      },
      "markdown": "Skip to content\n\nFree Shipping $150+\n\n# Classic Knit Sweater\n\nOur best-selling sweater made from premium natural fibers..."
    }
  ]
}

Sifir tarayici saniyesi, 266 sayfanin 256 kaydi. Meta veri, render edilmis versiyona kiyasla minimumda: Open Graph alanlari yok, yalnizca HTTP durumu, sayfa basligi ve URL. Ancak markdown, gezinme, urun detaylari ve alt bilgi dahil tam sayfa icerigini iceriyor. Sunucu tarafindan render edilen Shopify magazalari icin, statik HTML zaten ihtiyaciniz olan her seye sahip.

URL Kesfi

Tarayici, URL’leri uc kaynaktan kesfeder (source, all olarak ayarlandiginda):

1. Saglediginiz baslangic URL’si
2. Alan adinda bulunan site haritasi baglantilari
3. Taranan sayfalarda bulunan dahili baglantilar

Bunu source parametresini kullanarak yalnizca site haritalari veya yalnizca sayfa baglantilari ile sinirlandirabilirsiniz. excludePatterns her zaman includePatterns‘a gore oncelik tasir, boylece genis bir ag atabilir ve ardindan ihtiyaciniz olmayan bolumleri disari cikarabilirsiniz.

Render Etme vs. Hizli Getirme

render: true (varsayilan), basliksiz bir tarayici baslatir, JavaScript’i calistirir ve sayfanin tamamen yuklenmesini bekler. Bu, tek sayfa uygulamalari ve JavaScript ile render edilen icerik icin gereklidir, ancak faturalandirilan tarayici saniyelerini kullanir.

render: false, JavaScript calistirmadan hizli bir HTML getirme yapar. Beta doneminde bu getirmeler faturalandirilmaz. Bu, icerigin zaten ilk HTML’de oldugu statik siteler veya sunucu tarafindan render edilen sayfalar icin dogru secimdir.

Faturalandirma ve Kullanilabilirlik

Endpoint, hem Workers Free hem de Paid planlarinda kullanilabilir. Render edilen taramalar, dahil edilen tahsisinizin otesinde Cloudflare’in Browser Rendering fiyatlandirmasi kapsaminda tarayici saati basina 0,09 $ olarak faturalandirilir.

Workers Free: Gunluk 10 dakika tarayici suresi. /crawl endpoint’i gunde 5 is, tarama basina 100 sayfa ve dakikada 6 API istegi ile sinirlidir.

Workers Paid (aylik 5 $): Ayda 10 saat tarayici suresi dahil. Tarama basina sayfa siniri yok. Dakikada 600 API istegi. Ek tarayici saatleri her biri 0,09 $‘dir.

render: false taramalari sifir tarayici suresi kullanir. Beta doneminde ucretsizdir ancak sonunda standart Workers fiyatlandirmasi kapsamina girecektir.

Duvar Saati Suresi Nedir?

Duvar saati suresi, bir taramanin baslamasindan bitisine kadar gecen toplam suredir, bir kronometreyle olcersiniz gibi ayni sekilde olculur. Her seyi icerir: ag gecikmesi, Cloudflare’in dahili kuyruk suresi, DNS aramalari, sunucu yanit suresi ve (render etkinse) tarayici yurutme suresi.

Duvar saati suresi, tarayici suresinden farklidir. Tarayici suresi yalnizca Cloudflare’in basliksiz tarayicisinin sayfalar aktif olarak render ederken harcadigi saniyeleri sayar. Bir tarama 22 dakika tarayici suresi kullanabilir ancak kuyruk ve ag yuku nedeniyle 25 dakika duvar saati surebilir. Render edilmeyen taramalar sifir tarayici suresi kullanir ancak yine de getirme ve kuyruk surecindan duvar saati suresine sahiptir.

Karsilastirma sonuclarimizda, ne icin odediginizi (tarayici suresi) ve gercekte ne kadar beklediginizi (duvar saati suresi) gorebilmeniz icin her iki sayiyi da raporluyoruz.

Ince Detaylar

Endpoint, crawl-delay dahil robots.txt direktiflerini destekler. Kendisini CloudflareBrowserRenderingCrawler/1.0 olarak tanimlar. CAPTCHA’lari, Turnstile sorgulamalarini veya diger bot korumalarini atlamaz. Kendi sitenizi tariyorsaniz ve engelleniyorsaniz, tarayiciyi beyaz listeye almak icin bir WAF atlama kurali olusturmaniz gerekir.

Cloudflare /crawl Bes Shopify Magazasinda Nasil Davranir

/crawl endpoint’ini hiz, basari orani, maliyet ve tarayicinin her site ile nasil etkilestigini olcmek icin bes canli Shopify magazasina karsi calistirdik. Tum magaza adlari anonimlestirilmistir. Bunlar gercek taramalardan gelen gercek sayilardir. Duvar saati sureleri yaklasik tahminlerdir. Bazi erken testler sinirli hata islemeli betikler kullandi, bu da belirli magazalardaki raporlanan basari oranlarini etkilemis olabilir. Bunun gecerli oldugu yerlerde, asagida not ediyoruz.

Bu, ayarla ve unut turunden bir endpoint degildir. Her magaza, endpoint isteklerine farkli yanit verdi. Bazilari, render edilen bir taramayi tamamlamak icin kaynak engelleme gerektirdi. Digerleri bir modda 429 hatalari dondurdu ancak digerinde sorunsuz calisti. Tarama gecikmesi direktifleri, sayfa sayisi ve magaza mimarisi sonucu degistirdi. Taradiginiz her site icin ayarlari test etmeyi ve ayarlamayi planlayin.

Test 1: Buyuk E-Ticaret Katalogu (Store A)

/crawl endpoint’ini yaklasik 3.000 sayfali buyuk bir Shopify magazasina yonelttik. Icerik hizla geldi, markdown kullanisilirdi ve endpoint’in urun sayfalari, koleksiyon sayfalari ve blog icerigini getirmede hicbir sorunu olmadi. Proxy sorunlari yok, engellemeler yok, hiz sinirlamasi yok.

Farkli olceklerde birden fazla tarama gerceklestirdik:

JavaScript render olmadan tarama, her iki olcekte de %100 basari elde etti. Tam tarayici render, kucuk bir ornek testte 5 sayfanin 4’unu dondurdu. Bu kadar kucuk bir ornekte, eksik tek sayfa bir tarayici zaman asimi, gecici bir hata veya betik tarafli bir sorun olabilir.

Test 2: Kucuk Shopify Magazasi (Store D, 24 sayfa)

Tam is akisini test ettigimiz daha kucuk bir magaza:

Render olmadan tarama hatalar dondurdu. Ilk testimiz, duz HTML getirmede 429 yanitlari dondurdu. Bu magazayi iyilestirilmis hata isleme ile yeniden test etmedik, bu nedenle 429’larin magazanin hiz sinirlamasindan mi yoksa test sirasindaki gecici sorunlardan mi kaynaklandigini dogrulayamiyoruz.

Site haritasi tabanli kesfle tam render, tam bir basariydi. 24 sayfanin 24’u tarandi, %100 tamamlama.

Onemli bir kesif: varsayilan URL kesif modu, ana sayfanin neredeyse hic dahili baglantisi olmadigi icin yalnizca 1 sayfa buldu. Site haritasi tabanli kesfiye gecmek 24 sayfanin tamamini buldu. Ana sayfaniz minimal veya JavaScript agirliksaysa, tarayici yalnizca baglantilar araciligiyla sayfa bulamayabilir.

Test 3: Orta Olcekli Giyim Magazasi (Store B, 256 sayfa), Render Ile ve Render Olmadan

En detayli testimiz. 256 dizinlenebilir sayfali orta olcekli bir giyim magazasi: urunler, koleksiyonlar, blog yazilari ve bilgi sayfalari. Gercek farki olcmek icin her iki modu tam site uzerinde calistirdik.

Test 4: Saglik ve Takviye Perakendecisi (Store C), Olcekte Kismi Basari

Devasa bir kataloga sahip buyuk bir saglik urunleri perakendecisi. Farkli olceklerde render olmadan iki tarama gerceklestirdik:

Kismi basari orani, bu magazanin altyapisinin bazi tarayici olmayan istekleri dusurdugunü gosterebilir, ancak ilk testimiz saglam hata kurtarma eksikti, bu nedenle bu basarisizliklardan bazilari tarafimizda daha iyi yeniden deneme islemesiyle kurtarilabilir olabilirdi. Basari orani buyuk olcekte %40’tan %89’a yikseldi. Nedeni yalitmak icin bu magazayi iyilestirilmis hata isleme ile yeniden test etmedik.

Test 5: Buyuk Cok Kategorili Magaza (Store E, ~1.200 sayfa)

En buyuk ve en aydinlatici testimiz. Dort site haritasina dagilmis yaklasik 1.200 URL’ye sahip bir Shopify magazasi: 521 urun, 626 koleksiyon, 22 sayfa ve 31 blog yazisi.

Render olmayan tarama, sifir tarayici maliyetiyle tum 1.200 sayfada %100 basari elde etti. Render edilen tarama, kaynak engelleme optimizasyonlari etkinlestirilerek 100 sayfalk bir ornekte calistirildi.

Kaynak engelleme, takilan bir tarama ile temiz bir tarama arasindaki farki yaratti. Kaynaklari engellemeden, render edilen tarama 100 sayfanin 99’unda suresiz olarak takildi ve bu 99 sayfa icin 649 saniye tarayici suresi harcadi. Kaynak engellemeyi (gorseller, medya, fontlar, stil dosyalari) bir domcontentloaded bekleme kosuluyla etkinlestirmek, tarayici suresinde %27 azalma ile tum 100 sayfayi 475 saniyede tamamladi, takilma olmadi.

robots.txt’deki crawl-delay gorunur duraklamalara neden oldu. Store E’nin robots.txt’si belirli botlar icin 10 saniyelik bir crawl-delay belirtir. Render olmayan yoklama verilerimizde, bu sayfa sayisinin devam etmeden once duraldigi cok dakikalik platolar olarak goruldu. Cloudflare tarayicisi crawl-delay direktiflerini destekler, bu da bunlari ayarlayan sitelerde duvar saati suresini dogrudan uzatir.

/crawl Endpoint’i Gercekte Ne Kabul Eder

Endpoint, bir liste degil, tek bir baslangic URL’si alir. Bu URL’den disa dogru site haritalari, sayfa baglantilari veya her ikisi araciligiyla tarayarak sayfalari kesfeder. Zaten bir Scrapy taramasindan URL listeniz varsa ve markdown donusumu icin Cloudflare kullanmak istiyorsaniz, bunun yerine URL basina ayri ayri /markdown veya /scrape endpoint’lerini cagirmaniz gerekecektir.

Cloudflare /crawl Sunucu Tarafinda Gercekte Ne Yapar?

Store D’nin (25 sayfa) tam render edilmis taramasi sirasinda gercek trafik ayak izini analiz etmek icin tam sunucu loglarini cektik. Sonuclar, tarayici render edilmis tarama ile geleneksel bot tarama arasindaki temel farklari, analitik, sunucu yuku ve bot trafigi izleme icin istenmeyen yan etkileriyle ortaya koyuyor.

Tam Render Edilmis Bir Cloudflare /crawl Gercekte Ne Kadar Trafik Olusturur?

En buyuk bulgu: 2.234 istegin yalnizca %1,1’i gercek sayfa icerigiydi. Geri kalan %98,9’u, gercek bir ziyaretcinin yapacagi gibi her sayfayi yukleyen tarayici tarafindan tetiklenen JavaScript, CSS, analitik isaretcileri, izleme pikselleri ve odeme on yuklemeleriydi.

Amazonbot veya ChatGPT-User gibi render etmeyen bir bot, sayfa basina 1 istek olusturur. Cloudflare tarayici render’i 89 istek olusturur.

Cloudflare /crawl Shopify Analitiklerini Sisiyor mu?

Loglarimizda 163 POST istegi tamamen tarama sirasinda ateslenen Shopify analitik ve izleme endpoint’leriydi. Bunlar, gercek bir musteri magazanizi ziyaret ettiginde ateslenen ayni olaylardir. Shopify Analytics’in perspektifinden, Cloudflare tarayicisi magazanizda her sayfayi 2 dakikada gezen bir ziyaretci gibi gorunur.

Cloudflare /crawl Sunucunuza Ne Kadar Hizli Isabet Eder?

Tum 2.234 istek 134 saniyelik bir pencerede indi. Tepe verimi saniyede 82 istege ulasti. Tarayici tum 25 sayflik siteyi 2 dakikanin biraz uzerinde render etti, ancak sunucu, organik gezinme kaliplarinin hicbirine benzemeyen surdurulen bir trafik patlamasi gordu.

Kucuk magazalar icin bu yonetilebilir. Binlerce sayfali daha buyuk magazalar icin, istek amplifikasyonu (sayfa basina 89 kat) surdurulen verimle birlestiginde, ozellikle paylasimli barindirma planindaysaniz veya agresif hiz sinirlamaniz varsa, kaynak sunucuda anlamli bir yuk olusturabilir.

Cloudflare /crawl Nereden Geliyor?

Tarama, ABD’deki 5 Cloudflare veri merkezine dagildi:

Bu, istek yapan tek bir sunucu degildir. Cloudflare, render is yukunu edge agi uzerinde dagitir. Tum 23 IP 104.28.x.x araliginda kaldi ve user-agent, her bir istekte CloudflareBrowserRenderingCrawler/1.0 idi.

Cloudflare /crawl Hangi Tarayici Parmak Izini Birakir?

Render edici, gercek bir Chrome tarayicisini taklit eden uygun Sec-Fetch basliklarini gonderir:

Iki parmak izi bosugu one cikiyor: render edici sec-ch-ua Client Hints basliklarini tamamen atliyor (gercek bir Chrome tarayicisi bunlari her zaman gonderir) ve tum istekler HTTP/2 veya HTTP/3 yerine HTTP/1.1 kullaniyor. Bot tespit kurallari olusturuyorsaniz, bunlar Cloudflare’in tarayici render’ini gercek ziyaretci trafiginden ayirt etmek icin guvenilir sinyallerdir.

Cloudflare /crawl Sunucu Loglarinda Diger Yapay Zeka Botlariyla Nasil Karsilastiriliyor?

Cloudflare taramasini ayni 12 saatlik pencerede ayni magazaya gelen diger botlarla karsilastirdik:

Amazonbot ve ChatGPT-User ham HTML getirir: bir istek, bir sayfa, JavaScript yurutme yok. AhrefsBot, kesif icin site haritalarini tarar. Cloudflare tarayici render’i, gercek bir musteri geziyor gibi her sayfada tam bir Shopify vitrinini calistirarak her betigi, pikseli ve on yuklemeyi tetikler.

Cloudflare /crawl Hiz ve Maliyet: Tam Karsilastirma

Gerceklestirdigimiz her tarama, tek bir tabloda. Tum magazalar anonimlestirildi, tum sayilar gercek testlerden. Duvar saati sureleri yaklasiktir. Store C ve D icin basari oranlari, ilk test betiklerimizdeki sinirli hata islemeden etkilenmis olabilir.

Cloudflare /crawl Render Ile ve Render Olmadan Ne Kadar Hizli?

En net karsilastirma, her iki modu da ayni 256 sayfa uzerinde calistirdigimiz Store B’den geliyor:

On bir taramanin tamamindaki kalip tutarlidir: render olmadan tarama onemli olcude daha hizlidir. Render olmadan duvar saati suresi, cogunlukla Cloudflare’in dahili kuyruk ve getirme yukudur. Tam render, bu taban cizginin uzerine sayfa basina yaklasik 5 saniyelik tarayici suresi ekler.

Tam Render Edilmis Bir Cloudflare Taramasinin Sayfa Basina Maliyeti Ne Kadar?

Cloudflare’in Browser Rendering fiyatlandirmasi, basliksiz tarayicisinin sayfalarinizi aktif olarak render etmek icin harcadigi sure olan tarayici saatlerine dayanir. Render olmadan tarama, sifir tarayici saati kullanir ve beta doneminde ucretsizdir.

Workers Free Plani: Gunluk 10 dakika tarayici suresi. /crawl endpoint’i ayrica gunde 5 tarama isi ve tarama basina en fazla 100 sayfa ile sinirlidir.

Workers Paid Plani (aylik 5 $): Ayda 10 saat tarayici suresi dahil. Bunun otesinde, ek tarayici saati basina 0,09 $ odersiniz. /crawl endpoint’inde tarama basina sinir yoktur. Dakikada 600 API istegine kadar.

Test taramalarimizin 0,09 $/saat uzerinden gercek maliyetleri:

Sayfa basina yaklasik 5 saniyelik tarayici suresiyle, bu maliyetlerin hepsi ucretli plana dahil 10 saatin altinda kaliyor. 3.000 sayflik render edilmis bir tarama, dahil edilen 10 saatinizin yaklasik 4’unu kullanir, yani 5 $ taban ucretin otesinde herhangi bir sey odemeden once ayda iki tam tarama calistirabilirsiniz. Render olmadan tarama, her iki planda da ucretsizdir ve tarayici suresi maliyeti yoktur.

Cloudflare /crawl’da Render’i Ne Zaman Atlamali, Ne Zaman Tam Render Kullanmali?

Sonuc

Sunucu tarafindan render edilen icerge sahip cogu Shopify magazasi icin, render olmadan tarama, surenin bir kisminda sifir maliyetle yararli icerigin %90’indan fazlasini elde eder.

Cloudflare /crawl’i Shopify Magazalarinda Test Ederek Ogrendiklerimiz

5 canli Shopify magazasinda 11 tarama gerceklestirdikten ve tam sunucu loglarini analiz ettikten sonra, en onemli bulgular bunlardir.

Icerigin %90’i Render Olmadan Geliyor

Standart sunucu tarafindan render edilen sayfalara sahip Shopify magazalari icin, JavaScript render olmadan tarama, yararli icerigin %90’indan fazlasini yakaladi. Tam render’dan gelen %14’luk icerik artisi neredeyse tamamen ana sayfalar ve dizin sayfalarindaki JavaScript ile yuklenen ogelerden geldi. Bireysel urun sayfalari ve blog makaleleri her iki sekilde de neredeyse aynidir. Magazaniz tek sayfa uygulamasi olarak yapilmadikca, muhtemelen tam render’a ihtiyaciniz yoktur.

Tam Render 89 Katlik Bir Trafik Carpani Olusturuyor

25 sayfanin render edilmesi 2.234 sunucu istegi olusturdu. Bunlardan yalnizca 25’i gercek sayfa icerigiydi. Diger %98,9’u JavaScript dosyalari (%75), analitik isaretcileri (%6,3), CSS (%4,3), izleme pikselleri (%3,4) ve odeme on yuklemeleri (%3,3) idi. Render edilen her sayfa, gercek bir musteri geziyor gibi tam Shopify istemci tarafli yigini tetikler.

Shopify Analitikleriniz Muhtemelen Sisiriliyor

Render edilen taramalar, Shopify’in tam analitik yiginini atesler: monorail isaretcileri, izleme olaylari, Shop Pay on yuklemeleri ve web piksel betikleri. Shopify Analytics’in bunlari gercek ziyaretci oturumlari olarak saydgina inaniyoruz. Durum buyse, tek bir render edilmis tarama oturum sayilarinizi, sayfa goruntulemelerinizi ve donusum hunisi verilerinizi sisiribilir. Bunu dogrudan Shopify’in raporlamasinda dogrulamadik, ancak sunucu loglari, gercek bir musteri icin ateslenen ayni analitik olaylarinin ateslendigini gosteriyor.

Tam Render, Magaza Hiz Sinirlarini Atlayabilir

Store D, render olmadan her sayfada 429 hatalari dondurdu. Ayni magazada tam render’a gecmek %100 basari uretti. Render olmadan hiz sinirlariya karsilasirssaniz, tam render cozumunuzdur.

Site Haritasi Kesfi, Baglanti Kesfinden Daha Guvenilir

Varsayilan baglanti tabanli kesif, ana sayfanin cok az dahili baglantisi nedeniyle Store D’de neredeyse hicbir sey bulamadi. Site haritasi tabanli kesfiye gecmek 24 sayfanin tamamini buldu. Her zaman site haritasi kesfini kullanin.

Tarayici 5 ABD Veri Merkezinden Geliyor

Cloudflare, render is yukunu edge agi uzerinde dagitir. Taramarmiz Atlanta (%38), Chicago (%25), Miami (%23), Newark (%9) ve Washington DC (%5) genelinde 23 benzersiz IP’den geldi. Tum IP’ler 104.28.x.x araliginda kaliyor.

Iki Parmak Izi Bosugu Onu Bot Olarak Tanimliyor

Render edici sec-ch-ua Client Hints basliklarini atliyor (gercek Chrome bunlari her zaman gonderir) ve HTTP/2 veya HTTP/3 yerine HTTP/1.1 kullaniyor. Bot tespit kurallari olusturuyorsaniz, bunlar guvenilir sinyallerdir.

Render Etme Aslinda Daha Az Icerik Dondurebilir

Store E’de, render olmayan tarama, render edilen taramadan sayfa basina %6,8 daha fazla icerik dondurdu. Tarayici suresini optimize etmek icin gorselleri, fontlari ve stil dosyalarini engellemek, bazi JavaScript’in dinamik ogeleri doldurmasini da engelledi. Statik HTML zaten her seye sahipti. Sunucu tarafindan render edilen Shopify magazalari icin, render’in daha fazla icerik yakalayacagi garanti degildir.

Kaynak Engelleme Takilan Taramalari Onler

Kaynak engelleme olmadan, Store E’deki render edilen tarama 100 sayfanin 99’unda takildi ve hic tamamlanmadi. Gorseller, medya, fontlar ve stil dosyalari icin engellemeyi bir domcontentloaded bekleme kosuluyla etkinlestirmek, tum 100 sayfayi tamamladi ve tarayici suresini %27 azaltti. Render edilen taramalariniz bitmeden duruyorsa, kaynak engelleme cozumdur.

robots.txt Crawl-Delay Duvar Saati Suresini Uzatiyor

Store E’nin robots.txt’si 10 saniyelik bir crawl-delay belirtir. Render olmayan yoklama verilerimizde, bu sayfa sayisinin devam etmeden once duraldigi cok dakikalik platolar olarak goruldu. Cloudflare tarayicisi crawl-delay direktiflerini destekler, bu nedenle agresif gecikmelere sahip sitelerin duvar saati sureleri, sayfa sayisinin tek basina onerdiginden onemli olcude daha uzun olacaktir.

Maliyet Dusuk Ama Ucretsiz Planin Sinirlari Var

256 sayfanin render edilmesi, tarayici saati basina 0,09 $ uzerinden yaklasik 0,03 $‘a mal oldu. 24 sayfanin render edilmesi yaklasik 0,002 $‘a mal oldu. Workers Free plani, tarayici suresini gunde 10 dakikayla, en fazla 5 tarama isi ve tarama basina 100 sayfa ile sinirlar. Workers Paid plani (aylik 5 $), tarama basina sinir olmadan ayda 10 saat tarayici suresi icerir. 3.000 sayflik render edilmis bir tarama, bu dahil edilen 10 saatin yaklasik 4’unu kullanir, bu nedenle cogu magaza fazlallik olmadan ucretli plana rahatca sigar. Render olmadan tarama, beta doneminde her iki planda da sifir tarayici suresi kullanir ve ucretsizdir.

Artilar

Hiz

Sayfalar, otomatik yavaslatma ile cok saatlik bir Scrapy taramasina kiyasla neredeyse aninda getirilir. Kuyruk yok, kibarlk gecikmeleri yok, spider’inizin binlerce istegi saygli bir hizda islemesini bekleme yok.

Markdown Ciktisi

Endpoint, her sayfa icin onceden donusturulmus HTML-Markdown dondurur. Bu, herhangi bir son isleme olmadan LLM beslemesi, RAG boru hatlari ve icerik analizi icin dogrudan kullanislidir. Tum cikarma katmanini atlayip dogrudan temiz metne gidersiniz. Web sitesi icerigi uzerine yapay zeka uygulamalari olusturan ekipler icin, bu boru hattindan bir adimi kaldirir.

Render Modu Secenegi

render: true ayarlamak JavaScript’i calistirir ve otomatik olarak Open Graph meta verilerini cikarir (og:title, og:description, og:image, og:site_name). Icerigin istemci tarafinda render edildigi JavaScript agirlikli siteler icin, bu gercek sayfayi gormek ile bos bir kabuk gormek arasindaki farktir.

Proxy veya Hiz Siniri Sorunu Yok

Cloudflare, anti-bot onlemlerini ve hiz sinirlamasini kendi altyapisinda yonetir. Proxy havuzlarini yonetmenize, user-agent’lari dondurmenize veya CAPTCHA’larla ugrasmaniza gerek yoktur. Tek bir API cagrisi.

Artimli Tarama

modifiedSince ve maxAge parametreleri, degismemis veya yakin zamanda getirilmis sayfalari atlamaniza olanak tanir. Icerik degisikliklerini izlediginiz tekrarlayan taramalar icin, bu yalnizca gercekten yeni veya guncellenenmis sayfalari isleyerek hem zaman hem de maliyet tasarrufu saglar.

Basitlik

Tek API cagrisi. JSON yaniti. Spider kodu yok, ara yazilim yok, oge boru hatlari yok, ayar dosyalari yok.

Varsayilan Olarak Kuralli Bot

Tarayici, robots.txt, crawl-delay ve Cloudflare’in AI Crawl Control’unu destekleyen imzali bir ajandır. Kendisini CloudflareBrowserRenderingCrawler/1.0 olarak tanimlar ve bot korumasini veya CAPTCHA’lari atlayamaz. Mantigi kendiniz olusturmadan etik tarama uyumlulugunuzu elde edersiniz.

Cloudflare Crawl Endpoint’inin Desteklemedikleri

Cloudflare /crawl Tam Bir Tarama Boru Hattindan Nasil Farklidir?

Asagidaki tablo, Cloudflare’in /crawl endpoint’inde ve bir uretim Scrapy boru hattinda tam olarak hangi yeteneklerin bulundugunu gosteriyor. Bu, Shopify magazalarina karsi yapilan gercek testlerimize dayanmaktadir.

Cloudflare /crawl Hangi Yapisal Verileri Cikarir?

render: false ile hicbiri. JSON-LD yok, Microdata yok, OpenGraph ayristirmasi yok.

render: true ile yalnizca temel OG etiketleri (og:title, og:description, og:image, og:site_name). JSON-LD ve schema.org isaretlemesi ayristirilmaz, cikarilmaz veya dogrulanmaz.

Karsilastirma icin, Scrapy boru hattimiz her URL icin schemas_found, issues (eksik contactPoint, address vb.), top_level_schemas ve nested_schemas uretir. Hangi sayfalarin Product semasina sahip oldugunu, hangilerinin Organization isaretlemesinin eksik oldugunu ve hangi dogrulama hatalarinin yapay zeka sistemlerinin icerigi yanlis okumasina neden olacagini gorebilirsiniz.

Cloudflare /crawl Hangi HTTP Durum Kodlarini Dondurur?

Yalnizca 200 yanitlari. Ayni sitenin Scrapy taramasi 2.547 adet 404 hatasi, arti 403 yanitlari ve baglanti hatalari yakaladi. 404 tespiti, hayalet sayfa analizi, kirik baglanti duzeltmesi ve yonlendirme haritalamasi icin kritik oneme sahiptir. Bu olmadan, aktif olarak baglanti degerini sizdiran ve yapay zeka tarayicilarini karistan sayfalari kacirisyorsunuz.

Cloudflare /crawl Kac URL Isleyebilir?

Is basina 100.000’e kadar. Bu, cogu siteyi kapsar, ancak yuz binlerce urun sayfasi, varyant URL’si ve filtreli koleksiyon sayfasi olan buyuk e-ticaret kataloglari siniri asacaktir. Scrapy’nin dogal bir URL siniri yoktur.

Cloudflare /crawl’da URL Cozumleme Hatasi Var mi?

Tek bir urun sayfasindaki 908 baglantinan 233’unun bozuk yollara sahip oldugunu bulduk. Markdown donusturucu, goreceli URL’leri sayfa URL’sine karsi yanlis cozumleyerek /products/slug//www.example.com/... gibi cift yollu URL’ler uretiyor. Bu, herhangi bir alt baglanti analizini etkileyen, Cloudflare’in donusturucusundeki dogrulanmis bir hatadir.

Cloudflare /crawl Markdown Ciktisinda Ne Kadar Sablon Var?

Ortalama sayfa 158 KB markdown dondurdu. Yaklasik %90’i tekrarlanan sablon icerigi: tam gezinme, mega menu ve her kayitta alt bilgi. Icerik analizi icin bu, agir tekilsizlestirme calismasi anlamina gelir ve LLM jeton kullanimi icin maliyet hizla birikir. Gercek sayfa icerigini yalitmak icin markdown’un uzerine kendi icerik cikarma mantiginize ihtiyaciniz var.

Cloudflare /crawl Neyi Siniflandirmiyor?

Icerik turu etiketlemesi yoktur. Urun sayfalari, koleksiyon sayfalari, blog yazilari ve ana sayfalar farklilasmamis kayitlar olarak doner. Scrapy, sayfa kategorisine gore tarama kapsamini anlamak ve yapay zeka botlarinin hangi icerik turlerine oncelik verdigini belirlemek icin gerekli olan her URL’yi ture gore siniflandirir.

Cloudflare /crawl’da Hangi Sonuclandirma Ozellikleri Eksik?

Hayalet sayfa ekran goruntusu yok. JavaScript render karsilastirmasi (botun gordugu ile tarayicinin gordugu) yok. robots.txt yapay zeka bot analizi yok. Tarama kalite raporu yok. Istemci manifesti yok. CDN senkronizasyonu yok. Cloudflare verisi yalnizca ham icerik. Raporlama ve analiz boru hattinin her parcasinin ayri olarak olusturulmasi gerekecektir.

Cloudflare /crawl Buyuk Siteler Icin Ne Kadara Mal Olur?

Testlerimiz genelinde, render: true sayfa basina ortalama yaklasik 5 saniyelik tarayici yurutme suresi kullandi. 256 sayflik bir tarama, 1.338 tarayici saniyesi (22 dakika) kullandi ve tarayici saati basina 0,09 $ uzerinden yaklasik 0,03 $‘a mal oldu. 24 sayflik bir tarama, 58 tarayici saniyesi kullandi ve yaklasik 0,002 $‘a mal oldu. 3.000 sayflik bir katalogu tahmin etmek: yaklasik 4 saat tarayici suresi. Workers Free plani, gunde 10 dakika tarayici suresi, gunde 5 tarama isi ve tarama basina 100 sayfa ile sinirlidir. Workers Paid plani (aylik 5 $), tarama basina sinir olmadan ayda 10 saat tarayici suresi icerir, bu nedenle 3.000 sayflik bir tarama, bu dahil edilen 10 saatin yaklasik 4’unu kullanir. render: false, sifir tarayici suresi kullanir ve beta doneminde her iki planda da ucretsizdir.

Sonuc

Cloudflare’in crawl endpoint’i sunlar icin harika:

• Hizli icerik anlık goruntumleri, sayfa metnine hizla ihtiyac duydugunuzda
• LLM’ye hazir markdown, RAG boru hatlari ve icerik beslemesi icin
• Anlık sayfa kontrolleri, ihtiyaciniz olan kesin URL’leri bildiginizde
• Hizli site geneli icerik cekmeleri, spider olusturmadan markdown metnine ihtiyac duydugunuzda

Tam bir tarama boru hattinin yerini alamaz, cunku boru hattinin degeri sunlardadir:

• Tam tarama grafigi, baglanti topolojisi, yetim tespiti ve 404 kapsamiyla
• Yapisal veri cikarimi ve dogrulamasi (JSON-LD, Microdata, OpenGraph)
• Icerik siniflandirmasi, sayfa turune gore
• Hayalet sayfa analizi, JavaScript render karsilastirmasi, sema raporlari ve LLM hazirligi puanlamasi dahil tam sonuclandirma boru hatti

En Iyi Hibrit Yaklasim

Cloudflare’i tamamlayici bir veri kaynagi olarak kullanin. Tam bir tarama URL’lerinizi tespit ettikten sonra, yapisal meta veriler yerine gercek sayfa metnine ihtiyac duydugunuz LLM hazirligi puanlamasi veya icerik kalitesi analizi icin Cloudflare’in markdown ciktisini kullanin. Tarama boru hatti kesfeder ve siniflandirir. Cloudflare endpoint’i onemli sayfalar icin temiz metin sunar.

Sikca Sorulan Sorular