Her Web Sitesi Turune Uygun En Iyi Cloudflare /crawl Ayarlari

Cloudflare’in Browser Rendering /crawl endpoint’i, web sitesi icerigini buyuk olcekte cikarmanin en hizli yollarindan biridir, ancak varsayilan ayarlar cogu kullanim senaryosu icin optimal degildir. Shopify magazalarindan React SPA’lara ve dokumantasyon sitelerine kadar duzinelerce sitede taramalar calistirdiktan sonra, bunlar surekli olarak en iyi sonuclari veren ayarlardir.

Bu kilavuz, her ayarin ne yaptigini, ne zaman degistirilmesi gerektigini ve yaygin site turleri icin en iyi calisan belirli komutlari kapsar.

En Onemli Karar: Render Modu

Her tarama bir secimle baslar: Cloudflare sayfayi basliksiz bir tarayicida mi yuklemeli, yoksa sadece ham HTML’yi mi getirmeli?

render: false (--no-render) JavaScript calistirmadan HTML’yi getirir. Hizlidir, beta doneminde ucretsizdir ve ilk HTML yanitinda icerik sunan herhangi bir site icin temiz cikti uretir.

render: true (varsayilan) her sayfayi basliksiz bir Chromium orneginde yukler, JavaScript’i calistirir, sayfanin stabilize olmasini bekler, ardindan icerigi cikarir. Bu daha yavas, tarayici saati tuketir ve ucretsiz 10 saat/ay sinirinin uzerinde maliyetlidir.

Her Modun Ne Zaman Mantikli Oldugu

Testlerimizde, Shopify siteleri render modlari arasinda yaklasik %90 ayni icerigi dondurdu. Renderlamadan gelen ek icerik cogunlukla sepet cekmeceleri ve oneri widget’lari gibi dinamik kullanici arayuzu elemanlari idi, anlamli urun verileri degil. Tam render modu karsilastirmasini birebir performans degerlendirmeleriyle Shopify Magazalariyla Cloudflare Crawl Endpoint’inin Artilari ve Eksileri yazimizda ele aliyoruz.

Temel kural: --no-render ile baslayin. Sonuclarda ihtiyaciniz olan icerik eksikse, render moduna gecin.

URL Kesfi: Sitemaps vs Links

--source bayragi Cloudflare’in taranacak sayfalari nasil buldugunu kontrol eder.

--source sitemaps sitenin sitemap.xml dosyasini okur ve yalnizca orada listelenen URL’leri tarar. Bu ongorebilebilir bir yontemdir, site sahibinin kanonik olarak kabul ettigi sayfalari kapsar ve tekrar eden veya dusuk degerli sayfalarin taranmasini onler.

--source links verilen URL’den baslar ve her sayfada buldugu <a href> baglantilarini takip eder. Bu, sayfalari bir arama motorunun yapacagi sekilde kesfeder, ancak yetim sayfalari kacirabilir ve sayfalama, filtreler veya diger dusuk degerli URL kaliplarina girebilir.

--source all (varsayilan) her iki yontemi birlestirir.

Hangisini Kullanmali

Sitenin eksiksiz, iyi bakilmis bir site haritasi oldugunda --source sitemaps kullanin. Cogu Shopify ve WordPress sitesinde vardir. Bu, tam site icerik cikarimi icin en guvenilir secenektir.

Site haritasi eksikse, tamamlanmamissa veya ozellikle sitenin dahili baglanti yapisini denetlemek istiyorsaniz --source links veya all kullanin.

Render-True Taramalari icin Kaynak Engelleme

Bu, render-true taramalari icin en etkili tek optimizasyondur. Varsayilan olarak, basliksiz tarayici her sayfada her gorsel, yazi tipi, stil dosyasi ve medya dosyasini yukler. Yalnizca metin icerigine ihtiyaciniz oldugunda bu israf anlamina gelir.

Herhangi bir render-true taramasina --block-resources image media font stylesheet ekleyin. Etki onemlidir:

• Hiz: tarama suresi sayfa basina yaklasik 7 saniyeden yaklasik 2 saniyeye duser
• Maliyet: tuketilen tarayici saatleri %60-70 oraninda azalir
• Guvenilirlik: yavas CDN varliklari nedeniyle surekli bekleyen sayfalar artik normal sekilde tamamlanir

Tarayici hala JavaScript calistirir ve DOM’u olusturur. Sadece metin icerigini etkilemeyen varliklari indirmeyi atlar.

Bekleme Kosulu

--wait-until bayragi tarayiciya ne zaman beklemeyi durdurup icerik cikaracagini soyler. Varsayilan, tum ag etkinliginin bitmesini bekler ki bu yavas ve icerik cikarimi icin gereksizdir.

--wait-until domcontentloaded tarayiciya DOM hazir olur olmaz icerigi cikarmesini soyler. Metin cikarimi icin bu neredeyse her zaman yeterlidir. Icerik yukleyen JavaScript calistirilmis olacaktir, ancak arka plan analitik sinyalleri ve reklam agi cagrilari taramayi geciktirmeyecektir.

Site Turune Gore Onerilen Komutlar

Shopify Magazasi (Tam Site)

python crawl.py run https://example.com \
  --limit 500 \
  --format markdown \
  --no-render \
  --source sitemaps \
  -o results.json

Hizli, ucretsiz ve tam urun katalogunu kapsar. Shopify site haritalari kapsamlidir, bu nedenle --source sitemaps sayfalanmis koleksiyonlara veya arama sonucu sayfalarina girmeden eksiksiz kapsam saglar.

Shopify Magazasi (Yalnizca Urunler)

python crawl.py run https://example.com \
  --limit 1000 \
  --format markdown \
  --no-render \
  --include-patterns "https://example.com/products/**" \
  -o products.json

--include-patterns bayragi taramayi verilen kalipla eslesen URL’lerle sinirlar. Yalnizca urun sayfalarina ihtiyaciniz oldugunda ve koleksiyonlari, blog yazilari ile politika sayfalarini atlamak istediginizde kullanislidir.

WordPress veya Statik Blog

python crawl.py run https://example.com \
  --limit 500 \
  --format markdown \
  --no-render \
  --source sitemaps \
  -o results.json

Shopify ile ayni ayarlar. WordPress siteleri sunucu tarafinda renderlenir ve guvenilir site haritalarina sahiptir. Statik site uretecleri (Hugo, Jekyll, Eleventy, Astro) onceden olusturulmus HTML uretir, bu nedenle render-false her seyi yakalar.

React veya Vue SPA

python crawl.py run https://example.com \
  --limit 500 \
  --format markdown \
  --source sitemaps \
  --block-resources image media font stylesheet \
  --wait-until domcontentloaded \
  -o results.json

Render-true varsayilandir, bu nedenle ek bayrak gerekmez. Kritik eklemeler --block-resources ve --wait-until domcontentloaded‘dir. Bunlar olmadan tarama yavas ve pahalı olacaktir.

SPA’nin site haritasi yoksa --source links‘e gecin.

Dokumantasyon Sitesi

python crawl.py run https://docs.example.com \
  --limit 500 \
  --format markdown \
  --no-render \
  --depth 5 \
  --exclude-patterns "*/changelog/**" "*/archive/**" \
  -o docs.json

Dokumantasyon siteleri genellikle derin baglanti yapisina sahiptir. Ic ice gecmis sayfa hiyerarsilerini takip etmek icin --depth degerini artirin. Degisiklik gunlugu sayfalarini, arsivlenmis surumler veya ihtiyaciniz olmayan diger icerikleri atlamak icin --exclude-patterns kullanin.

Performans Degerlendirmeleri

Bu rakamlar Mart 2026’da Shopify ve e-ticaret magazalarinda yapilan gercek taramalardan gelmektedir. Site adlari anonimlestirilmistir.

Verilerden elde edilen temel kaliplar:

• No-render, ayni site icin render-true’dan 5 ila 10 kat daha hizlidir
• No-render sifir tarayici suresi tuketir (beta doneminde ucretsiz)
• No-render taramalarinda gecen sure sayfa sayisiyla dogrusal olarak olceklenir
• robots.txt tarama gecikmesi yonergeleri olan siteler, ayarlardan bagimsiz olarak yavas olacaktir, cunku tarayici bunlara saygi gosterir

Maliyet Optimizasyonu

Workers Paid plani aylik 5$‘dir. Bunun otesinde maliyetler, render-true taramalarinin tuketigi tarayici saatlerinden gelir.

Ucretsiz katman: aylik 10 tarayici saati. Kaynak engelleme ile 500 sayfalik bir render-true taramasi yaklasik 15-20 dakika tarayici suresi kullanir. Ucretsiz katman dahilinde ayda 30’dan fazla optimize edilmis tarama calistirabilirsiniz.

Kaynak engelleme olmadan: ayni 500 sayfalik tarama 60+ dakika tarayici suresi kullanabilir ve ucretsiz kapasitenizi yaklasik 10 taramaya dusurur.

No-render taramalari beta doneminde ucretsizdir. Sunucu tarafinda renderlanan siteler icin render-true kullanmanin hicbir nedeni yoktur.

Maliyet Formulu

Browser cost = (pages x seconds_per_page) / 3600 x $0.09

Sayfa basina 2 saniye (optimize edilmis render-true): 500 sayfa = 0,28 saat = 0,025$

Sayfa basina 7 saniye (optimize edilmemis): 500 sayfa = 0,97 saat = 0,087$

Fark tarama basina kucuktur ancak birden fazla sitede gunluk veya haftalik taramalar calistirildiginda birikir.

Bilinmesi Gereken Sinirlar

Yaygin Sorunlar ve Cozumler

Cogu sayfada 403 hatalari: sitede bot korumasi vardir (Cloudflare Bot Management, Akamai, Datadome). Bu, /crawl endpoint’i araciligiyla asilamaz. Tarama tamamlanir ancak cogu sayfa hata dondurur.

Render-true taramasi sonlara dogru takiliyor: bir veya daha fazla sayfada tarayiciyi engelleyen yavas yuklenen kaynaklar vardir. --block-resources image media font stylesheet ve --wait-until domcontentloaded ekleyin.

No-render modunda eksik icerik: site icerigi JavaScript araciligiyla yukluyor. Kaynak engelleme ve bekleme optimizasyonlariyla render-true’ya gecin.

Betik tarama sirasinda cokuyor: tarama isi Cloudflare sunucularinda calismaya devam eder. Durumu kontrol edin ve bittiginde sonuclari alin:

python crawl.py status <job_id>
python crawl.py results <job_id> -o out.json

Sitemaps kaynagindan bos sonuclar: sitenin site haritasi eksik veya engellenmis olabilir. --source links veya --source all‘a gecin.

Bilinen Sinirlamalar

/crawl endpoint’i etrafinda bir is akisi olusturmadan once bu kisitlamalarin farkinda olun:

• Bozuk goreli URL cozumlemesi: Cloudflare’in markdown donusturucusu //www.example.com/path gibi goreli URL’leri, sayfa URL’sini basa ekleyerek yanlis cozumler. Bu, ozellikle Shopify sitelerinde ciktida bozuk yollar olusturur.
• Her sayfada sablonsal icerik: gezinme menuleri, mega menuler ve alt bilgiler her sayfanin markdown’inda gorunur. Tipik bir Shopify sitesi icin sayfa basina icerigin yaklasik %90’i tekrarlanan sablon iceriktir. Gercek Shopify taramalarinda sablonsal icerik oranlarinin analizimize bakin.
• Yapilandirilmis veri cikarimi yok: JSON-LD, schema.org ve OpenGraph verileri no-render modunda ayristirilmaz. Render-true, meta verilerde temel OG etiketlerini yakalar ancak tam semayi yakalamaz.
• 404 algilama yok: tarama yalnizca canli URL’leri isler. Oldu baglantilar ve bozuk dahili baglantilar raporlanmaz.
• Tek baslangic URL’si: API tek bir URL kabul eder ve disariya dogru tarar. URL listesi kabul etmez. Toplu URL getirme icin bunun yerine /markdown veya /scrape endpoint’lerini kullanin.

Sikca Sorulan Sorular

Cloudflare /crawl ile render true mu yoksa render false mu kullanmaliyim?

Shopify, WordPress ve statik siteler gibi sunucu tarafinda renderlanan siteler icin render false (--no-render) kullanin. Render true’yu yalnizca React, Vue veya Angular ile olusturulmus, icerigin JavaScript araciligiyla yuklendigi tek sayfa uygulamalari icin kullanin. Testlerde Shopify siteleri her iki modda da yaklasik %90 ayni icerigi dondurdu.

Cloudflare Browser Rendering /crawl ne kadar maliyetlidir?

Workers Paid plani aylik 5$ maliyetindedir. Render-false taramalari sifir tarayici suresi tuketir ve beta doneminde ucretsizdir. Render-true taramalari tarayici saati kullanir: aylik 10 saat ucretsizdir, sonrasi saat basina 0,09$‘dir. Render-true taramalarinda gorsel, yazi tipi ve stil dosyalarini engellemek tarayici suresini onemli olcude azaltir.

Cloudflare /crawl icin en iyi URL kesif kaynagi nedir?

Shopify ve WordPress gibi eksiksiz site haritalarina sahip siteler icin --source sitemaps kullanin. Bu, ongorebilebilir ve eksiksiz kapsam saglar. Site haritasi eksik olabilecegi veya sayfalari bir arama motorunun yapacagi sekilde kesfetmek istediginiz durumlarda --source links veya all kullanin.

Cloudflare render-true taramam neden son sayfalarda takiliyor?

Buyuk gorseller veya ucuncu parti betikler gibi yavas yuklenen kaynaklara sahip sayfalar, basliksiz tarayiciyi 60 saniyeden fazla engelleyebilir. Bunu tarama komutunuza --block-resources image media font stylesheet ve --wait-until domcontentloaded ekleyerek duzeltebilirsiniz.