Category

Teknik SEO

yönlendirmeler arasındaki fark

301, 302 ve Meta Refresh Yönlendirmeleri Nedir?

By | Teknik SEO | No Comments

Yönlendirme (redirection) bir URL’yi farklı bir URL’ye iletme işlemine verilen isimdir. Yönlendirmenin üç türü bulunur: 301, 302 ve meta refresh.

Yönlendirme Türleri

301, “Kalıcı olarak taşındı” SEO için önerilir

302, “Bulundu” ya da “Geçici olarak taşındı”

Meta Refresh

Yönlendirme nedir?

Yönlendirme, kullanıcıları ve arama motorlarını orijinalinde ulaşmak istediklerinden farklı bir URL’ye göndermenin bir yoludur. Aşağıda sık kullanılan yönlendirme türlerinin tanımlarını göreceksiniz.

301 (Kalıcı olarak taşındı)

301 tipi yönlendirme yönlendirilen sayfanın sıralama gücünün %90 – 99’unu geçen kalıcı bir yönlendirmedir. 301 bu tip yönlendirmenin HTTP durum kodudur. Bir çok durumda 301 yönlendirme bir websitesi için en iyi yönlendirme metodudur. Sayfa değerinin yeni sayfaya 301 yönlendirme ile taşınıp taşınmadığını daha detaylı öğrenmek için aşağıdaki videoda Google eski web spam ekibinin başı olan Matt Cutts’ın açıklamalarını dinleyebilirsiniz.

302 Bulundu (HTTP 1.1) / Geçici olarak taşındı (HTTP 1.0)

Google’ın bazı çalışanları 301 ve 302’lerin benzer şekilde değerlendirildiği durumlar olduğunu söylüyor ancak kanıtlar gösteriyor ki URL’leri kalıcı olarak yönlendirirken kullanılabilecek en güvenlisi – arama motorları ve tarayıcılar bakımından – 301 metodunu kullanmak. İnternet HyperText Transfer Protocol (HTTP) adı verilen bir protokol ile çalışır, bu protokol URL’lerin nasıl çalışacağını kontrol eder. Bunun iki ana versyionu vardır; 1.0 ve 1.1. İlk versiyonda, 302 “Geçici olarak taşındı” durum koduna işaret eder. 1.1 versiyonunda ise bu “Bulundu” durum koduna değiştirilmiştir.

 

307 Geçici olarak taşındı (HTTP 1.1)

307 tipi yönlendirme 302 yönlendirmenin HTTP 1.1 yeni versiyonudur. Ana yakalayıcılar (crawler) bazı durumlarda buna 302 gibi yaklaşırlar. Hemen hemen her durumda 301 yönlendirme kullanmak en iyisidir. Bunun tek istisnası içerik gerçekten geçici olarak taşındığı zamandır (örneğin sitede bakım olduğunda) ve sunucu arama motorları tarafından zaten 1.1 uyumlu olalrak tanımlanmıştır. Arama motorlarının bir sayfayı uyumlu olarak tanımlayıp tanımlamadıklarını tespit etmek imkansız olduğu için, genelde en iyisi geçici olarak taşınan içerikler için 302 yönlendirmesi kullanmaktır.

yönlendirmeler arasındaki farkMeta Refresh

Meta refresherlar sunucu seviyesi yerine sayfa seviyesinde gerçekleştirilen yeniden yönlendirmelerdir. Bunlar genellikle daha yavaştır ve SEO tekniği olarak önerilmez. Bu tip yönlendirmede genellikle beş saniyelik geri sayım kullanılır ve site ziyaretçilerine “Beş saniye içinde yönlendirilmezseniz bu linki tıklayın” metni gösterilir. Meta refresh bir miktar sıralama gücüne sahiptir ancak zayıf kullanımı ve sıralama gücü kaybı nedeniyle SEO taktiği olarak önerilmezler.

Bir URL’yi diğerine yönlendirmek yaygın bir uygulamadır. Bunu yaparken, SEO değerini korumak için en iyi uygulamaları gözlemlemek önemlidir.

Bunun en yaygın örneği basit bir senaryo ile verilebilir: Kalıcı olarak başka bir adrese yönlendirilmesi gereken bir URL.

Bunu yapmak için çok sayıda seçenek vardır, ancak genelde 301 tipi yönlendirme hem kullanıcılar hem arama motorları bakımından daha avantajlı olacaktır. 301 kullanmak tarayıcılara ve arama motoru botlarına sayfanın kalıcı olarak taşındığını işaret eder. Arama motorları bunu sadece sayfanın yerinin değişmesi olarak değil aynı zamanda içerik ya da içeriğin güncellenmiş bir halinin yeni bir URL’de bulunabileceği olarak yorumlar. Motorlar orijinal sayfadan yeni URL’ye herhangi bir linki aşağıdaki gibi taşır:

Bir sayfayı bir URL’den diğerine taşırken arama motorlarının 301’i keşfetmesinin ve sıralamada yer vermesinin biraz zaman alacağını unutmayın. Bu süreç arama motoru örümcekleri sayfayı seyrek aralıklarla ziyaret ediyorsa ya da yeni URL gerekli şekilde çözümlenmiyorsa daha da uzun sürecektir.

Yönlendirme için diğer seçenekler – 302 ya da meta refresh gibi – zayıf seçeneklerdir, bunlar sıralamaları ve arama motoru değerlerini 301 gibi başarılı aktaramazlar. Bu alternatiflerin avantajlı olduğu tek zaman bir webmasterin sıralamaları (link juice/ranking) eski siteden yeni siteye aktarmayı özellikle istemediği zamandır.

İçeriği transfer etmek bir sitenin tamamı alan adını değiştirirse ya da içerik bir ala nadından diğerine geçerse daha karmaşık hale gelir. Spammerlerin istismarı ya da arama motorlarının şüpheleri sonucu alan adları arasındaki 301 yönlendirmelerin bazen doğru şekilde yakalanması ve sayılması daha uzun sürer. 301, 302 ve meta refresh yönlendirmeleriyle ilgili profesyonel destek almak için İstanbul SEO ajansını tercih edebilirsiniz.

Hreflang Etiketi Kullanma

Hreflang Etiketi Kullanma Rehberi

By | Teknik SEO | 2 Comments

Hreflang farklı dillerde benzer içeriklere sahip web siteleri için teknik çözüm olarak karşımıza çıkıyor. Bir site sahibi arama motorlarının insanlara siteleri için en uygun dili göstermesini ister. Varsayalım ki, kullanıcı Alman, fakat site İngilizcede en yüksek sayfa değerine sahip olsun. Bu noktada arama motoru sorgusunda Google’ın bu kişiye sayfayı Almanca versiyonu ile göstermesini istersiniz. Bu sorunu çözmesi için hreflang tasarlanmıştır.

Bu bir hayli uzun yazıda aşağıdaki konuları tartışacağız:

  • Hreflang Ne Anlama Gelir?
  • Hreflang’ın SEO’ya Katkısı Nedir?
  • Hreflang Nedir?
  • Hreflang Neyi Sağlar?
  • Hreflang’ı Kullanmalı Mısınız, Kullanmamalı Mısınız?
  • Hangi Mimari Kararları Almanız Gerekiyor?
  • Hreflang Hakkında Bilmeniz Gereken Temel Teknik Özellikler
  • Almanız Gereken Uygulama Kararları
  • Hangi Diğer Teknik Konulara Dikkat Etmemiz Gerekiyor, Örneğin:
    • X-default
    • Rel=canonical ve Hreflang Birlikte Nasıl Çalışır?
  • Uygulamanızı Geliştirirken ve Test Ederken Hangi Araçları Kullanmanız Gerekir?
  • Uygulamanızı Hazırladıktan Sonra Çalışmaya Devam Etmesini Nasıl Sağlarsınız?

hreflang bir arama motorundan çıkmış en zor özelliklerden birisi. Bu özelliği doğru şekilde ayarlamak hem zor hem de zaman alıyor. Bu rehber sizin yaygın olarak düşülen hatalara düşmenizi engellemek amacıyla oluşturulmuştur. Eğer hreflang projeleri ile uğraşıyorsanız bu rehberi mutlaka okuyun.

Hreflang Ne Anlama Gelir?

hreflang benzer anlamlara sahip fakat dilleri veya bölgeleri farklı olan sayfaları göstermek için kullanılan bir yöntemdir. Bu yöntemi üç farklı şekilde kullanabilirsiniz:

  • Bölgesel değişikliklere sahip içerikler için en-us ve en-gb
  • İngilizce, Almanca ve Fransızca gibi farklı dillerdeki içerikler
  • Farkı dillerin veya farklı bölgelerin kombinasyonlarında

hreflang’ı aynı dili kullanan farklı marketleri hedef almanız durumlarında kullanabilirsiniz. Bu oldukça kullanışlı bir araçtır. hreflang kullanarak Amerika ile İngiltere veya Almanya ile Avusturya’yı birbirlerinden ayırabilirsiniz.

Hreflang’ın SEO’ya Katkısı Nedir?

Peki neden hreflang hakkında konuşma gereği duyuyoruz? SEO açısından katkısı nedir? SEO bakış açısından uygulanmasında iki temel neden olduğunu söylemek mümkün.

İlk ve en önemlisi olarak, eğer kullanıcıların dillerine ve bulundukları yere göre optimize edilmiş bir sayfanız varsa, arama sonuçlarında doğrudan o dil veya bölge ile ilgili sonuç sayfasına ulaşmalarını istersiniz. Dil ve bölgeye bağlı doğru bilgilerin gösterilmesi kullanıcı deneyimini arttıracağı gibi aynı zamanda bu sayede çok daha az insan arama sonuçlarına geri dönüş yapacaktır. Daha az kişinin arama sonuçlarına geri dönmesi ise sayfanızın değerini daha da arttırır.

hreflang kullanmamızdaki ikinci neden ise  bir içeriğin iki defa arama sonuçlarında gösterilmesini engellemektir. Farklı linklerde aynı İngilizce kaynaklı ve İngiltere, Amerika veya Avusturalya gibi farklı bölgeleri içeren bir sayfanız olabilir. Bu sayfalardaki farklılıklarsa sadece fiyatlardaki ve para birimlerindeki farklılıklar kadar küçük olabilir. Google tek başına ne yapmaya çalıştığınızı anlayamayabilir ve bu içerikleri kopya içerikler olarak değerlendirebilir. hreflang ile arama motorlarına bu içeriklerin neredeyse aynı içerikler olduğunu ve farklı insanlar için optimize edildiklerini de göstermeniz mümkündür.

Hreflang Etiketi KullanmaHreflang Nedir?

hreflang kodu ile web siteniz veya siteleriniz içerisindeki aynı içeriğe sahip tüm linkleri belirtebilirsiniz. Bu linkler farklı dillerde aynı içeriğe sahip olabilirler veyahut aynı dil fakat farklı bölgelerde olabilirler.

Hreflang Neyi Sağlar?

Eksiksiz bir hreflang uygulamasında, her bir URL mümkün olan diğer varyasyonları tanımlar. Bir kullanıcı arama yaptığında, Google aşağıdaki süreçleri takip eder:

  1. Bir URL’yi derecelendirmek istediğine karar verir;
  2. Bu URL’nin hreflang satırı olup olmadığın bakar;
  3. Aramayı yapan kişiye onun için en uygun URL’yi gösterir.

Aramayı yapan kişinin mevcut konumu ve dil ayarları en uygun URL’nin belirlenmesi için kullanılır. Bir kullanıcı tarayıcısında birden çok dil ayarına da sahip olabilir. Örneğin, bir kullanıcı tarayıcısında Hollandaca, İngilizce ve Almanca dillerini kullanıyor olabilir. Ayarlar bölümünde tercih edilen dillerin sıralamaları arama sonuçlarında kişinin karşısına çıkacak sayfaların belirlenmesinde kullanılır.

Hreflang’ı Kullanmalı mısınız, Kullanmamalı mısınız?

Hreflang’ın ne olduğundan ve nasıl çalıştığından öğrendiğimiz kadarıyla bu noktada, onu kullanmalı mıyız, kullanmamalı mıyız bunu belirleyebiliriz. Kullanmamız gereken durumlar:

  • Birkaç dilde aynı içeriğe sahipseniz;
  • Aynı dilde fakat farklı coğrafi bölgelere yönelik içeriklere sahipseniz.

Sahip olduğunuz içeriğe tek veya birden fazla domain içerisinde sahip olmanız önemli değildir. Aynı domain içerisinde link varyasyonlarına sahip olabilir veya domainler arasında linkler de oluşturabilirsiniz.

Hangi Mimari Kararları Almanız Gerekiyor?

hreflang’ı uygularken dikkat edilmesi gereken çok önemli bir kriter vardır: çok spesifik olmamanız gerekir! Varsayalım ki üç farklı sayfanız var:

  • Almanca
  • Almanca, Avusturya’ya yönelik
  • Almanca, İsviçre’ye yönelik

Bunları toplamda üç adet hreflang seçerek uygulamanız gerekir:

  • De – de Almanya’daki Almanca konuşan kişileri hedef alan
  • De – at Avusturya’daki Almanca konuşan kişileri hedef alan
  • De – ch İsviçre’deki Almanca konuşan kişileri hedef alan

Bununla birlikte, Google bu üç seçenekten hangisini Belçika’da Almanca arama yapan birisine göstermelidir? Muhtemelen en iyi seçenek ilk seçenek olacaktır. De –at ve de – ch kriterleri ile uyuşmayan tüm Almanca arama yapan kişiler için muhtemelen ilk seçenek en iyi seçenek olacaktır. Bu noktada hreflang özelliğini sadece “de” olarak değiştirmek en iyi seçenek olacaktır. Mümkün olan en fazla farklı durum için hreflang tanımlamaksa karşımıza en iyi seçenek olarak çıkıyor.

Bu türden link setleri oluşturduğunuzda, duruma göre en spesifik olanı arama motorları tarafından tercih edilecektir. Arama motorunun linkleri görme sırasının bu noktada bir önemi yoktur. En spesifikten en az spesifiğe doğru eşleştirme yapmayı dener.

Hreflang Hakkında Bilmeniz Gereken Temel Teknik Özellikler

Hangi uygulama yöntemini seçerseniz seçin, bunların uygulanmasında üç temel kural vardır.

  1. Geçerli Hreflang Özellikleri

Hreflang özellikleri içerisinde dil bir diğer değer olarak karşımıza çıkarken, bu değere isteğe bağlı olarak bölgeyi de ekleyebiliyoruz. Dil özelliğinin ISO 639-1 formatında olması gerekiyor (iki harf kodu)

Bölge ise seçmeli olarak kullanılabiliyor ISO 3166-1 Alfa 2 formatında olması gerekiyor, daha spesifik olmak gerekirse, resmi olarak atanmış bir eleman olması gerekmekte. Bu doğrulama için şu listeyi kullanmanız gerektiği anlamına geliyor. Bu noktada işlerin arada sırada ters gittiğini söylemek mümkün: yanlış bölge kodunu kullanmak oldukça yaygın bir sorundur. Bu nedenle doğru bölgeyi bulmada doğru bölge kodunu girmek için mutlaka Wikipedia listesini kullanın.

  1. Geri Dönen Linkler

İkinci temel kural geri dönen linkler hakkında. Uygulama türünüzden bağımsız olarak, her bir URL diğer tüm URL’lere geri dönüş linki gerektirir. Unutmayın ki, bu ayrıca canonical versiyona yönelik de olmalıdır. Siteniz içerisinde ne kadar fazla dil kullanıyorsanız, bu noktada geri dönen linkleri sınırlamaya da o kadar yatkın olursunuz: Bu noktada size bunu yapmamanızı öneririz. Eğer sitenizde kullandığınız 80 tane dil varsa bu durumda, 80 tane de hreflang linkinizin olması gerekiyor. Bunun başka bir yolu yok diyebiliriz.

  1. İçe Hreflang

Üçüncü ve son temel kural içe verilen hreflang’dır. Bulunduğu sayfaya dönen linkler bazen bizlere garip görünürken, yazılımcılara da bulunduğu sayfaya yönlendirilmiş hreflang linkleri garip görünebilir. Bununla birlikte bu durum gereklidir ve uygulanmaması halinde hreflang düzgün çalışmayacaktır.

Almanız Gereken Uygulama Kararları

Hreflang’ı uygulamanın üç farklı yolu vardır: <head> bölümünde link elemanlarını, XML site haritalarını veya http başlıklarını kullanabilirsiniz. Her biri kendi içinde kullanışlıdır. Bu noktada bu yöntemleri açıklayarak hangisini seçmeniz gerektiği hakkında fikir vereceğiz.

  1. <head> Bölümünde HTML hreflang Link Elemanları

hreflang uygulaması açısından ilk olarak HTML hreflang link elemanlarından bahsedeceğiz. Başlık link elemanlarını kullanarak hreflang uygulamak için, aşağıdaki gibi bir kodu her bir sayfanın <head> elementine eklemek gerekir.

<link rel=”alternate” href=”http://example.com/”

      hreflang=”en” />

<link rel=”alternate” href=”http://example.com/en-gb/”

      hreflang=”en-gb” />

<link rel=”alternate” href=”http://example.com/en-au/”

      hreflang=”en-au” />

Her bir varyasyon, her bir diğer varyasyon ile bağlantılı olması gerektiği için, bu uygulamalar oldukça büyük hale gelebilirler ve bu nedenle performans sorunlarına yol açabilirler. Eğer 20 diliniz varsa, HTML link elementleri metodunu seçmeniz her sayfanın başına 20 link elementi eklemeniz anlamına gelecektir. Bu da her bir sayfaya 1.5KB’lik ek yük anlamına gelir. Bu hiçbir kullanıcının asla kullanmayacağı fakat yüklemesi gereken ek bir değer olarak karşımıza çıkıyor. Hepsinden önemlisi, CMS’niz tüm linkleri üretmek için birkaç veri tabanı bağlantısı yapma ihtiyacı duyacaktır. Bu biçimlendirme tamamen arama motorları için üretilmiştir. Bu nedenle büyük siteler için bu yöntemin kullanılması çok fazla ekleme yapılması nedeniyle önerilmez.

  1. Hreflang HTTP Başlıkları

hreflang uygulamasında ikinci yöntem olarak karşımıza HTTP başlıkları yöntemi çıkıyor. HTTP başlıkları tüm PDF’leriniz ve diğer HTML olmayan bileşenleriniz için optimizasyon çözümü olarak kullanılıyor. Link elementleri HTML dökümanları için başarılı bir şekilde çalışsa da diğer türde içerikleri içlerine ekleyemiyorsunuz. Bu noktada HTTP başlıkları devreye giriyor. Aşağıdaki şekilde uygulanabiliyorlar.

Link: <http://es.example.com/document.pdf>;

rel=”alternate”; hreflang=”es”,

<http://en.example.com/document.pdf>;

rel=”alternate”; hreflang=”en”,

<http://de.example.com/document.pdf>;

rel=”alternate”; hreflang=”de”

  1. XML Site Haritası İle Hreflang Uygulaması

hreflang uygulamasında üçüncü seçenek olarak karşımıza XML site haritası biçimlemesi çıkıyor. xhmtl’, kullanıyor: XML site haritalarındaki link atamaları, her bir URL’ye açıklama ekliyor. Sayfaların <head> bölümüne <link> elementleri eklemeyle aynı şekilde çalıştığını söylemek mümkün. Eğer link elementlerinin ayrıntılı olduğunu düşünüyorsanız, XML site haritası uygulamasının daha da kötü olduğunu söyleyebiliriz. Bu sadece bir URL’de iki farklı dilin olması durumunda uygulanması gereken biçimlemedir.

<url>

<loc>http://www.example.com/uk/</loc>

<xhtml:link rel=”alternate” hreflang=”en”

href=”http://www.example.com/” />

<xhtml:link rel=”alternate” hreflang=”en-au”

href=”http://www.example.com/au/” />

<xhtml:link rel=”alternate” hreflang=”en-gb”

href=”http://www.example.com/uk/” />

</url>

Gördüğünüz gibi üçüncü bir URL olarak kendine referans veren bir URL’Ye sahip, spesifik bir URL’yi belirtmek en-gb anlamına gelirken, ayrıca iki farklı dil için de belirtme yapılıyor. Bu noktada, her iki URL’nin de site haritasında yer alması gerekiyor:

<url>

<loc>http://www.example.com/</loc>

<xhtml:link rel=”alternate” hreflang=”en”

href=”http://www.example.com/” />

<xhtml:link rel=”alternate” hreflang=”en-au”

href=”http://www.example.com/au/” />

<xhtml:link rel=”alternate” hreflang=”en-gb”

href=”http://www.example.com/uk/” />

</url>

<url>

<loc>http://www.example.com/au/</loc>

<xhtml:link rel=”alternate” hreflang=”en”

href=”http://www.example.com/” />

<xhtml:link rel=”alternate” hreflang=”en-au”

href=”http://www.example.com/au/” />

<xhtml:link rel=”alternate” hreflang=”en-gb”

href=”http://www.example.com/uk/” />

</url>

Gördüğünüz üzere, URL’leri <loc> elementi içerisinde değiştiriyoruz. Diğer her şey ise aynı kalıyor. Bu şekilde, her bir URL kendine referans veren hreflang özelliğine sahip oluyor ve linkleri uygun diğer URL’lere döndürüyor.

Bu örnekteki gibi XML site haritası biçimlemesi oldukça detaylıdır: burada çok sayıda URL’de bu işlemi yapmak için çok miktarda çıktı gerekir. XML site haritası uygulamasının avantajı basittir: normal kullanıcılarınız bu biçimleme ile karşılaşmazlar. Bu sayede ekstra sayfa yükü eklemeye ve fazladan veri tabanı sorgusu yapmaya da gerek kalmaz.

XML site haritası aracılığıyla hreflang eklemenin diğer bir faydası ise XML site haritasının site içerisindeki tüm sayfaları değiştirmekten daha kolay olmasıdır. Öncesinde geniş kabul süreçlerinden geçmeniz ve belki de XML site haritasına doğrudan erişim sağlamanız da söz konusudur.

Hreflang Uygulamasının Diğer Teknik Özellikleri

Bu noktada hangi teknik uygulamayı seçmeye karar verdiğinizi varsayıyoruz. hreflang’ı uygulamadan önce bilmemiz gereken birkaç teknik özellik daha bulunuyor.

Hreflang x-Default

x-default adı verilen özel bir tür hreflang değeri vardır. x-default değeri eğer hreflang içerisinde tanımladığınız hiçbir dil kullanıcının tarayıcısındaki dil değeri ile eşleşmezse nereye gideceğini belirtir. Link elementi içerisinde aşağıdaki gibi görünmektedir:

<link rel=”alternate” href=”http://example.com/”

hreflang=”x-default” />

İlk duyurulduğu zaman, “uluslararası konum sayfaları” olarak ortaya çıkan bu değerde kullanıcıları bölgelerine göre tekrar yönlendirmek söz konusuydu. Eğer kullanıcıların bulunduğu bölge ve dil hiçbir hreflang değeri ile eşleşmezse bu durumda x-default değeri devreye girer.

Yukarıda gösterdiğimiz Almanca örneğinde olduğu gibi, İngilizce dilinde arama yapan bir kişi sonuç itibariyle istediği URL ile karşılaşmayacaktır. Bu noktada x-default devreye giriyor. Yukarıda verdiğimiz örneğe ek olarak x-default eklersek sorun çözülüyor diyebiliriz.

  • De
  • De-at
  • De-ch
  • X-default

Bu durumda x-default linki de ile aynı URL’ye yönlenmelidir. Ayrıca bu noktada “de” linkini kaldırmamanızı öneririz. Yine de kaldırmanız durumunda teknik olarak sonucun değişmeyeceğini söylemekte fayda var. Uzun süreçte her ikisini kullanmakta fayda vardır.

Hreflang ve Rel=Canonical

rel=”atlernate” hreflang=”x” biçimleme ve rel=”canonical” birlikte kullanılabilirler. Her dilde kendi kendine link veren rel=”canonical” olmalıdır.  Daha fazla bilgi almak için detaylı Rel Canonical Url yazımızı okuyabilirsiniz. İlk örnekte, example.com’da olduğumuzu düşünürsek aşağıdaki şekilde bir kod dizisine ihtiyacımız vardır:

<link rel=”canonical” href=”http://example.com/”>

<link rel=”alternate” href=”http://example.com/”

hreflang=”en” />

<link rel=”alternate” href=”http://example.com/en-gb/”

hreflang=”en-gb” />

<link rel=”alternate” href=”http://example.com/en-au/”

hreflang=”en-au” />

Eğer en-gb sayfasındaysak, canonical’den başka fazla değişen bir şey olmayacaktır:

<link rel=”canonical” href=”http://example.com/en-gb/”>

<link rel=”alternate” href=”http://example.com/”

hreflang=”en” />

<link rel=”alternate” href=”http://example.com/en-gb/”

hreflang=”en-gb” />

<link rel=”alternate” href=”http://example.com/en-au/”

hreflang=”en-au” />

en-gb sayfasında http://example.com/ sayfasına link vererek ve canonical ayarları yaparak hataya düşmeyin. Aksi takdirde bu uygulamayı bozacaktır. Hreflang linklerinin her bir URL canonical versiyonuna yönelmesi önemlidir. Bu sistemler el ele çalışmalıdır!

Hreflang’ı Uygulamasında Kullanışlı Gereçler

Eğer buraya kadar gelmeyi başardıysanız, bu işlemin zor bir işlem olduğunu düşünüyorsunuzdur. Bu konu hakkında ben de benzer şeyleri düşünmüştüm. Şanslısınız ki, hreflang uygulamak isteyen kişilere başlangıç noktası olabilecek çok sayıda yardımcı program var.

Hreflang Tag Üreticisi

Hreflang tag’leri link elemenetlerini oluşturmanızda size yardımcı oluyorlar. Link elementi uygulamasını seçmeseniz dahi, kompleks kodlar oluşturmak için bu aletin oldukça faydalı olduğunu söyleyebiliriz.

Hreflang XML Site Haritası Üreticisi

Hreflang XML site haritası üreticisi de oldukça kullanışlı araçlardan birisi. Dil başına URL’lere CSV formatında giriş yapabiliyorsunuz ve size XML site haritası üretiyor. Eğer bu adımı uygulamayı düşünürseniz iyi bir başlangıç noktası olarak karşımıza çıkıyor. Bu XML site haritası üreticisi içerisine koyacağınız CSV dosyası her bir dil için kolonlara ihtiyaç duymakta. Eğer x-default URL’si de eklemek isterseniz, x-default isimli bir kolon da oluşturabilirsiniz.

Hreflang Tag Onaylayıcı

Sitenize biçimleyici eklediğinizde, bu biçimleyiciyi onaylatmanız gerekir. Eğer <head> içerisinde link elementi seçeneğini tercih ederseniz bu durumda onaylayıcı birkaç programın olduğunu göreceksiniz. En iyilerinden birisi flang,DejanSEO programıdır.

Hreflang’ı Canlı tutmak: Süreç

Bir kere çalışan bir hreflang oluşturduğunuz zaman, süreçleri de ayarlamanız gerekir. Arada bir kullandığınız uygulamayı denetlemekte ve çalışıp çalışmadığına bakmakta da fayda var.

Şirketiniz için çalışan kişinin hreflang’ı bilip bilmediğinden emin olmanızı tavsiye ederiz. Bu sayede uygulamanızı geçersiz kılmayacak birisi olduğunu da bilirsiniz. İki şey çok önemli:

  1. Bir sayfa silindiği zaman, ona karşılık gelen sayfalar güncelleniyor mu?
  2. Bir sayfa yönlendirildiği zaman, ona karşılık gelen hreflang URL’leri değiştirilmiş mi?

Eğer doğru şekilde denetleme yapamazsanız bu durumda, çok sayıda sorunla karşı karşıya kalabilirsiniz.

Sonuç

hreflang ayarlarını yapmak zorlu bir süreçtir. Zorlu bir standart olan hreflang’da çok sayıda spesifik özelliği bilmeniz ve sorunlarla başa çıkmanız gerekir. Bu rehber konu hakkında yeni gelişmeler oldukça güncellenecektir. Uygulamanız hakkında çalışırken değişiklikleri görmek için daha sonra yazımızı tekrar incelemeyi unutmayın.

Canonical Meta Tag

Rel=Canonical Meta Tagı Rehberi

By | Teknik SEO | No Comments

Bir Canonical URL arama motorlarına belli başlı benzer URL’lerin aslında aynı ve tek bir URL olduğunu söyleme yoludur. Bazen birkaç URL’nin altında ulaşılabilir ürün veya içeriğe sahip olabilirsiniz veya bu durum birkaç web sitesi için de geçerli olabilir. Canonical URL kullanmak (rel= canonical özelliğine sahip bir HTML link tag’i) sıralamalarınıza zarar vermeden bu linklerin var olması yoludur.

  • Canonical Meta Tagı Nedir?
  • rel=canonical SEO Açısından Faydaları
  • Canonical Süreci Nasıl İşler
  • Canonical URL’ler Nasıl Ayarlanır
    • rel=canonical Kullanmanın Doğru Yolu
  • Canonical URL’leri Ne Zaman Kullanmalısınız
    • 301 Yönlendirmesi veya Canonical?
    • Bir Sayfanın Kendi-Referanslı Canonical URL’si Olmalı Mıdır?
    • Çapraz-domain Canonical URL’ler
  • Hatalı Canonical URL’ler: Yaygın Hatalar
    • rel= canonical ve Sosyal Ağlar
  • rel=canonical ‘in Gelişmiş Kullanımları
    • Canonical Link Http Başlığı
    • rel=canonical ‘ın Benzer Olmayan Sayfalarda Kullanılması
    • rel=canonical ‘ın Hreflang İle Birlikte Kullanımı
  • Sonuç: rel=canonical Güçlü Bir Araç

Canonical Meta Tagı Nedir?

rel=canonical elementi, “canonical link” olarak da ifade edilen ve Webmasterların birbirinin aynı içeriklerden kaynaklanan sorunları engellemesini sağlayan bir HTML elamanıdır. Canonical bunu bir web sayfasını “canonical” veya “preffered” versiyonu şeklinde tanımlayarak yapar. Bu elemanın kullanılması bir web sitesinin SEO’sunu oldukça geliştirir.

Bu yöntemin arkasındaki mantık oldukça basittir: eğer aynı içeriğin birkaç benzer versiyonlarına sahipseniz, bir “canonical”(standart) versiyon seçersiniz ve arama motorlarına bu sonucu gösterirsiniz. Bu sayede arama motorlarının hangi içeriği göstermesi gerektiğine dair sorun yaşadığı çifte içerik durumuna çözmüş bulmuş olursunuz. Bu makale size canonical’ın kullanışlı olduğu ve kullanışlı olmadığı durumları göstermek amacıyla hazırlanmıştır.

Canonical Meta Tagrel=canonical SEO Açısından Faydaları

Her bir benzer URL seti için uygun bir canonical URL seçmek sitenizin SEO’sunu geliştirmeniz açısından önemlidir. Arama motoru hangi versiyonun canonical(standart) olduğunu bildiği için, tüm farklı versiyonlardaki tek versiyona link veren tüm linkleri sayabilir. Temelde, bir canonical atamak gerçekten tekrar yönlendirme yapmadan bir 301 tekrar yönlendirmesi anlamına gelir.

Canonical Süreci Nasıl İşler

Bir ürün URL’si için birden fazla seçeneğiniz olduğu zaman, canonical süreci birinin seçilmesi sürecidir. Pek çok durumda, seçim oldukça açıktır: bir URL diğerlerinden daha iyi olacaktır. Bazı durumlarda ise, seçim diğerlerinde olduğu kadar açık bir şekilde ortada olmayabilir, fakat bu tür durumlarda seçim yapmak daha kolaydır diyebilir. Basit olarak herhangi birini seçebilirsiniz! Canonical işlemini URL’lerinize uygulamak, uygulamamaktan her zaman daha iyi bir şeydir.

Canonical URL’ler NasılAyarlanır?

rel=canonical kullanmanın doğru yolu

Elinizde aynı sayfadan iki versiyon olduğunu varsayalım. Tam tamına iki sayfanın da %100 içeriği aynı olsun. Aralarındaki fark ise bu sayfaların web siteniz içerisinde ayrı bölümlerde yer alması olsun. Yani arka plan renkleri ve aktif menü seçenekleri birbirlerinden farklı. İşte bu. Her iki versiyon da diğer sitelerden link alıyor, içerik oldukça değerli bir içerik. Peki arama motoru hangi versiyonu göstermeli? Bunun cevabını kimse bilmiyor.

Örneğin, bunlar URL’ler olsun:

  • http://example.com/wordpress/seo-plugin/
  • http://example.com/wordpress/plugins/seo/

İşte rel=canonical bunun için geliştirildi. Özellikle pek çok e-ticaret sisteminde, bu durum pek çok kez site sahiplerinin başına geliyor. Bir ürün oraya nasıl eriştiğinize bağlı olarak birkaç farklı URL’ye sahip olabiliyor. rel=canonical’i aşağıdaki şekillerde uygulayabilirsiniz:

  1. İki sayfanızdan birini canonical (standart) versiyon olarak seçersiniz. Seçeceğiniz linkin en önemli sayfa olduğunu düşündüğünüz link olması gerekmektedir. Eğer bu önemli değilse, daha çok linki olanı veya daha çok ziyaretçisi olanı seçebilirsiniz. Eğer her açıdan eşitlerse bu durumda herhangi birini seçebilirsiniz.
  2. Canonical olmayan sayfadan canonical olana rel=canonical linki ekleyin. Eğer en kısa URL’yi canonical URL olarak seçersek, diğer URL en kısa URL’ye link gönderecektir. Aynı sayfanın <head> bölümünde olduğu gibi:

<link rel=”canonical” href=”http://example.com/wordpress/seo-plugin/”>

işte bu kadar ne fazla ne de eksik.

Bu işlem arama motorunun bakış açısından bakıldığında iki sayfayı tek bir sayfaya birleştirmektedir. Buna gerçekte bir yönlendirme yapmadan yapılan “yumuşak yönlendirme” adı verilebilir. Her bir URL’ye verilen linkler URL’nin tekbir canonical versiyonu olarak sayılabilir.

Canonical URL’leri Ne Zaman Kullanmalısınız

301 Yönlendirmesi veya Canonical?

Eğer 301 tekrar yönlendirmesi yapma veya bir canonical atama şansınız varsa hangisini seçmelisiniz? Cevap basit: Eğer bir tekrar yönlendirme yapmamak için teknik bir nedeniniz yoksa, bu durumda kesinlikle her zaman tekrar yönlendirme kullanmalısınız. Eğer bu durum kullanıcı dostu değilse veya diğer türlü sorunlara yol açtığı için tekrar yönlendiremiyorsanız: bu durumda bir canonical URL belirleyin.

Bir Sayfanın Kendi-Referanslı Canonical URL’si Olmalı Mıdır?

Yukarıdaki örnekte, canonical olmayan sayfayı canonical olan sayfaya link vermiştik. Peki sayfa kendi kendine rel=canonical linkine sahip olmalı mıdır? Bu konu SEO uzmanları arasında oldukça tartışmalı bir konudur. YOAST’ta her sayfanın canonical link elementi olması gerektiğine dair bir görüş bulunmaktadır ve bu durum Google tarafından da doğrulanmıştır. Bunun nedeni çoğu CMS’lerin URL parametrelerine içeriği değiştirmeden izin vermesidir. Bu durumda tüm URL’ler aynı içeriği gösterecektir:

  • http://example.com/wordpress/seo-plugin/
  • http://example.com/wordpress/seo-plugin/?isnt=it-awesome
  • http://example.com/wordpress/seo-plugin/?cmpgn=twitter
  • http://example.com/wordpress/seo-plugin/?cmpgn=facebook

Sorun: Eğer sayfanızda kendi kendine referans veren bir canonical’iniz yoksa bu URL versiyonunun en temizi anlamına gelecektir. Eğer bunu kendiniz yapmazsanız, bir başkasının bunu yapması söz konusudur. Bu da tekrarlama sorunlarına yol açar. Bu nedenle siteniz içerisindeki URL’lere canonical yerleştirme iyi bir defansif SEO hareketi olarak gösterilebilir.

Çapraz-Domain Canonical URL’ler

Farklı domainler içerisinde aynı içeriklere sahip olabilirsiniz. Örneğin SearchEngineJorunal Yoast.com’dan düzenli olarak içerikler paylaşmaktadır. Bu içeriklerin her birine göz gezdirin. Tümü orijinal makalemize rel=canonical linki ile bağlıdır. Bu o sitede yayınlanan makale linkine verilen her bağlantının aslında makalenin orijinalinin yer aldığı siteye link verilmesi demektir. Onlar Yoast’ın içeriklerini okurlarını memnun etmek amacıyla kullanırken, Yoast’ta bundan faydalanmaktadır.

Hatalı Canonical URL’ler: Yaygın Hatalar

Yanlış rel=canonical kullanımının ciddi sorunlara yol açabileceğini gösteren pek çok örnekten bahsetmek mümkün. Çok sayıda ana sayfası canonical ile bir makaleye yönlendirilmiş olan ve bu nedenle arama sonuçlarında ana sayfasını kaybetmiş sitelerden bahsetmek mümkün. Bunula birlikte rel=canonical ile yapmamanız gereken birkaç şeyden daha bahsetmek mümkün. Aşağıda en önemli olanlarından bahsetmek istedik:

  • Sayfalandırılmış bir arşivi 1. sayfaya canonize etmeyin. 2. sayfada yer alan rel=canonical 2. sayfaya yönlendirilmelidir. Eğer 1. sayfaya yönlendirirseniz, arama motorları daha derindeki arşiv sayfalarını indekslemeyecektir.
  • %100 spesifik yapın. Pek çok nedenden dolayı, çoğu site protokol ile alakalı linker kullanır. Bu http / https’i URL’lerinde bir miktar bıraktıkları anlamına gelir. Bunu canonical’lerinizde yapmayın. Öncelikleriniz var. Gösterin.
  • Talep edilen URL’nizde canonical’i temel alın. Eğer domain gibi değişkenler veya canonical üretilirken varsayılan sayfaya erişim için kullanılan talep URL’leri kullanıyorsanız, hata yapıyorsunuz demektir. İçeriğiniz kendi URL’lerinden haberdar olmalıdır. Diğer türlü, aynı içeriğe sahip olursunuz. Örneğin, example.com ve example.com ikisi de birbirine canonical olur.
  • Bir sayfada çok sayıda rel=canonical linkli karmaşaya yol açar. Bazen bir eklenti oluşturan yazılımcı bir sayfaya canonical eklemenin en iyi yolunu kendisinin bildiğini düşünebilir. Bazı durumlarda bu yazılımcı haklıdır. Fakat bazı durumlarda ise bu kişilerin hatalı olduğunu söylemek mümkün. Bu sorun ile karşılaşıldığında sonuçların tümüyle ön görülemez olduğunu söyleyebiliriz.

rel= canonical ve Sosyal Ağlar

Facebook ve Twitter rel=canonical’i kullanırlar. Bu tuhaf durumlara yol açabilir. Eğer Facebook’ta başka bir yere canonical uzantısı olan bir URL paylaşırsanız, Facebook detayları canonical URL’den paylaşacaktır. Aslında eğer bir sayfaya başka bir yere canonical bağlantısı olan bir beğen butonu eklerseniz, söz konusu URL için değil, canonical URL için söz konusu olan beğeni sayısını gösterecektir.  Twitter’da aynı şekilde çalışmaktadır.

rel=canonical ‘ın Gelişmiş Kullanımları

Canonical Link Http Başlığı

Google’da canonical link HTTP başlığını desteklemektedir. Başlık aşağıdaki gibi görünmektedir:

Link: <http://www.example.com/white-paper.pdf>;

rel=”canonical”

Canonical link HTTP başlıkları, canonicalizasyon PDF türü dosyalara yapıldığında oldukça kullanışlı olabilmektedir, böylesi bir seçeneğin var olduğunu bilmek de güzel.

rel=canonical ‘ın Benzer Olmayan Sayfalarda Kullanılması

Her ne kadar bu yöntemi önermesek de, rel=canonical’i oldukça agresif bir şekilde kullanabilirsiniz. Google canonical’i hemen hemen oldukça tuhaf bir şekilde onurlandırır. Birbirinden farklı iki içeriği Google’da canonicalize edebilirsiniz. Eğer Google sizi bunu yaparken yakalarsa, sitenizin canonicallerine güvenmeyi bırakacaktır. Bu da size yarardan çok zarar getirir.

rel=canonical ‘ın Hreflang İle Birlikte Kullanımı

Kapsamlı hreflang tag etiketi rehberimizde, canonical’lerden de bahsediyoruz. hreflang tag’ını kullandığınız durumlarda, her bir dilin canonical’ini kendisine yönlendirmeniz önemlidir. hreflang’ı uygulamadan önce mutlaka canonical’in nasıl kullanıldığını öğrenmeniz gerekir. Diğer şekilde tüm hreflang uygulamalarınızı öldürmeniz söz konusudur.

Sonuç: rel=canonical güçlü bir araç

Rel=canonical SEO araçları arasında güçlü olanlarından birisidir. Fakat her güçlü araç gibi, onu da akıllıca kullanmanız gerekir. Aksi takdirde yarardan çok zararını görebilirsiniz. Geniş web siteleri için, canonicalize süreci çok önemli olabilmekte ve ana SEO geliştirmelerine yön verebilmektedir. Bu konuda SEO danışmanlığı hizmeti almak isterseniz İstanbul SEO ajansımızın iletişim bölümünden bize ulaşabilirsiniz.

 

 

Robots.txt Dosyası Oluşturma Rehberi

By | Teknik SEO | No Comments

Robots.txt dosyası arama motorunun sitenizin hangi bölümlerine girip hangi bölümlerine giremeyeceğini söyleme yollarından birincisidir. Büyük arama motorlarının tümü robots.txt dosyasının temel fonksiyonlarının tümünü destekler. Bununla birlikte bazı arama motorlarının kullandığı ve kullanışlı sayılabilecek birkaç ek özelliğinden de bahsedebiliriz. Bu rehber robots.txt’nin web siteniz içerisindeki tüm kullanım alanlarını içeriyor. Her ne kadar çok basit görünse de, robots.txt dosyanızda bir yanlış yapmanız durumunda bu sitenize ciddi zarar verebilir. Bu nedenle rehberimizi okumanızı ve anlamanızı tavsiye ediyoruz.

  • Robots.txt Dosyası Nedir?
  • Robots.txt Dosyası Ne Yapar?
  • Robots.txt Dosyamı Nereye Koymalıyım?
  • Robotst.txt Dosyasını Kullanmanın Artıları ve Eksileri Nelerdir?
    • Artısı: Crawl Budget
    • Eksisi: Arama Sonuçlarından Bir sayfanın Çıkarılamaması
    • Eksisi: Link Değerinin Yayılmaması
  • Robots.txt sözdizimi
    • Tarayıcı anahtarı direktifi
      • Arama Motoru Örümcekleri İçin En Yaygın Kullanılan Tarayıcı Anahtarları
    • Robot Engelleme Direktifleri
    • Wildcardlar ve Standart İfadeler Nasıl Kullanılır
    • Standart Olmayan Robots.txt Bulucu Direktifleri
      • İzin Direktifleri
      • Noindex Direktifleri
      • Host Direktifleri
      • Bulucu-Gecikme Direktifleri
      • XML Site Haritaları İçin Site Haritası Direktifleri
      • Arama Motoru Örümcekleri İçin En Yaygın Kullanılan Tarayıcı Anahtarları
    • Robots.txt Dosyasının Etkin Hale Getirilmesi

Robots.txt Dosyası Nedir?

humans.txt

Birkaç yazılımcı oturup düşündükten ve bizlerin birer robot olmadığını fark ettikten sonra humans.txt dosyasını oluşturdular. Bu dosyada bir sitede çalışan kişilerin çalışma biçimi diğer konularla birlikte bir standart oluşturacak şekilde şekillendirildi.

Robots.txt dosyası da bir tekst dosyasıdır ve katı bir söz dizimini takip eder. SEO nedir sorusuna cevap verirken site içi seo bölümüne girer. Arama motorlarının örümcekleri tarafından taranmak üzere tasarlanmışlardır. Dosyanın adı nedeniyle bu örümceklere robot adı da verilir.

Dosyanın söz dizimi oldukça katıdır çünkü dosya bilgisayar tarafından okunabilir olmalıdır. Satırlar arasında boşluklar yoktur, her şey 1 ve 0’lardan ibarettir.

Robot dışarlama protokolü adı da verilen robots.txt dosyası ilk arama motoru yazılımcıları arasında düzenlen bir konsensus sonucu ortaya çıkmıştır. Bu dosya resmi bir organizasyonun oluşturduğu resmi bir standart değildir. Fakat tüm büyük arama motorları bu dosyayı kullanmaktadır.

Robots.txt Dosyası Ne Yapar?

Arama motorları sayfaları örümcekleri ile tarayarak interneti indekslerler. Bir A sitesinden B sitesine oradan da C sitesine erişmek ve bu şekilde devam etmek için linkleri takip ederler. Bir arama motoru daha önce karşılaşmadığı bir domaini incelemeden önce, domain içerisindeki robots.txt dosyasını inceler. Robots.txt dosyası arama motoruna domain içerisindeki hangi URL’lerin indekslenmesine izin verildiğini söyler.

Arama motoru robots.txt dosyası içeriğini saklar, fakat genelde günde birkaç kere bu içeriği yeniler. Bu sayede yapılan değişiklikler kısa sürede arama sonuçlarına yansıtılır.

Robots.txt Dosyamı Nereye Koymalıyım?

Robots.txt dosyanız her zaman domaininizin kök klasöründe yer almalıdır. Örneğin eğer domaininiz www.example.com ise, robots dosyanız http://www.example.com/robots.txt şeklinde görünmelidir.

Dikkat: eğer domainininiz “www.“ olmadan çalışıyorsa, yine de aynı robots.txt dosyasına sahip olduğunuzdan emin olun! Aynı durum hem http hem de https için geçerlidir. Bir arama motoru http://example.com/test URL’sini örümcekleri ile taramak isterse, http://example.com/robots.txt dosyasını bulur. Aynı URL’yi https üzerinden taramak isterse, https siteniz üzerinden de robots.txt dosyanızı arayacaktır, https://example.com/robots.txt.

Bununla birlikte robots.txt dosyanızın gerçekten de robots.txt olarak isimlendirilmesi oldukça önemlidir. Bu yazım türü büyük küçük harfe duyarlıdır. Eğer bu dosyanın isimlendirilmesinde hata yaparsanız, dosya çalışmayacaktır.

Robots.txt Dosyası Kullanmanın Artıları ve Eksileri

Artısı: Crawl Budget

Her web sitesinin arama motorları tarafından kaç adet sayfasının taranacağına dair bir izni vardır. SEO uzmanları bu izinlere crawl budget adını verirler. Web sitenizin bir bölümünü arama motorlarının örümceklerinin girişine engelleyerek, crawl budget’ınızı web sitenizin diğer bölümlerinde kullanmak üzere ayırabilirsiniz. Özellikle SEO temizleme sürecinde ihtiyaç duyulan sitelerde, bu uygulama web sitesinin bazı bölümlerini arama motorlarına kapama konusunda çok faydalı olabilmektedir.

Eksisi: Arama Sonuçlarından Bir Sayfanın Çıkarılamaması

Robots.txt dosyasını kullanarak arama motoru örümceğine sitenizde nereye gitmemesi gerektiğini söyleyebilirsiniz. Bununla birlikte arama motoruna hangi URL’yi arama sonuçlarında göstermeyeceğini söyleyemezsiniz. Bu, sizin arama motoruna bir URL’yi incelememesini söylemeniz – buna engellemek deniliyor – onun yine de URL’yi arama sonuçlarında göstermeyeceği anlamına gelmiyor. Eğer arama motoru bu URL’ye yönelik yeterince link bulursa, o sayfayı içeriğinde ne olduğunu bilmese dahi arama sonuçlarına ekleyecektir.

Eğer bir sayfanın arama motorlarında güvenilir bir şekilde engellenmesini istiyorsanız, bu durumda meta robotlarının noindex tag’ını kullanmanız gerekir. Bu arama motorunun bu sayfayı indekslemesi ve sayfa içerisindeki noindex tag’ını bulması gerektiği anlamına gelir. Bu gibi bir durumda sayfanın robots.txt dosyası içerisinde engellenmemiş olması gerekir.

Eksisi: Link Değerinin Yayılamaması

Arama motoru bir sayfanın içeriğini inceleyemediği zaman, engelli sayfalardaki linkler için link değerlerini de dağıtamaz. Eğer inceleme mümkün olsaydı fakat sayfayı indekslemeseydi, sayfa içerisinde bulduğu linklerin link değerlerini dağıtabilirdi. Bir sayfa robots.txt içerisinden engellendiği zaman, link değeri kaybedilir.

Robots.txt Söz Dizimi

Bir robots.txt dosyası bir veya birden çok direktif içeren bir yazım bloğuna sahiptir, her biri, bir tarayıcı anahtarı sırasıyla başlar. “Tarayıcı-anahtarı” (user agent), spesifik bir örümceğin adresine karşılık gelen adıdır. İster tüm arama motorları için bir blok tarayıcı anahtarınız olur, isterseniz tarayıcı anahtarı için bir wildcard kullanırsınız veya isterseniz, spesifik arama motorları için spesifik bloklar kullanabilirsiniz. Bir arama motoru örümceği her zaman adıyla eşleşen spesifik bloğu seçecektir.

Bu bloklar şu şekilde görünür (endişelenmeyin, aşağıda açıklıyoruz):

User-agent: *

Disallow: /

User-agent: Googlebot

Disallow: /

User-agent: bingbot

Disallow: /not-for-bing/

İzin verme veya vermeme gibi direktifler büyük küçük harf duyarlı değildirler. Bunları isterseniz küçük isterseniz de büyük harflerle yazabilirsiniz. Bu size kalmış. Bununla birlikte, değerler büyük küçük harf duyarlıdırlar. /photo/, /Photo/ ile aynı şey değildir. Direktifleri dosyanın okunabilirliği adına büyük ve küçük harfe duyarlı olarak oluştururuz.

Tarayıcı-anahtarı direktifleri

Her direktif bloğunun ilk bölümü tarayıcı-anahtarlarıdır. Tarayıcı-anahtarı spesifik bir örümceği tanımlar. Tarayıcı-anahtarı alanı spesifik bir örümceğin tarayıcı anahtarı ile eşleşir (genelde daha uzundur). Örneğin, Google’dan gelen en yaygın örümceklerden birisinin tarayıcı-anahtarı aşağıdaki gibidir:

Mozilla/5.0 (compatible; Googlebot/2.1;

+http://www.google.com/bot.html)

Göreli olarak basit bir User-agent: Googlebot satırı eğer bu örümceğe ne yapmasını söylemek isterseniz iş görecektir.

Unutmayın ki, çoğu arama motorunun birden çok örümceği vardır. Normal indeksleme işlemleri, reklam programları, resimler ve videolar için spesifik örümcekler kullanırlar.

Arama motorları her zaman bulabildikleri en spesifik direktif bloklarını kullanmayı tercih ederler. Örneğin 3 direktif setimiz olduğunu düşünelim: birisi * için, diğeri Googlebot ve bir diğeri de Googlebot-News için olsun. Eğer bir bot, tarayıcı-anahtarı Googlebot-Video şeklinde gelirse, Googlebot’a uygulanan kısıtlamalara uyacaktır.  Tarayıcı-anahtarı Googlebot-News olan bir bot daha spesifik Googlebot-News direktiflerini kullanacaktır.

Arama Motorları Örümcekleri İçin Kullanılan En Yaygın Tarayıcı-Anahtarları

Aşağıda robots.txt dosyası içerisinde en çok arama yapılan arama motorları ile eşleştirilmek üzere kullanılan tarayıcı-anahtarları listelenmektedir:

 

Arama Motoru Alan Tarayıcı-Anahtarı
Baidu Genel baiduspider
Baidu Resim baiduspider-image
Baidu Mobil baiduspider-mobile
Baidu Haberler baiduspider-news
Baidu Video baiduspider-video
Bing Genel bingbot
Bing Genel msnbot
Bing Resim & Video msnbot-media
Bing Reklam adidxbot
Google Genel Googlebot
Google Resim Googlebot-Image
Google Mobil Googlebot-Mobile
Google Haberler Googlebot-News
Google Video Googlebot-Video
Google AdSense Mediapartners-Google
Google AdWords AdsBot-Google
Yahoo! Genel Slurp
Yandex Genel Yandex

 

Reddetme Direktifleri (Disallow)

Direktif bloklarındaki ikinci sıra reddetme sırasıdır. Belirli örümceklerin erişemeyeceği kısımları belirttiğiniz site bölümlerini gösteren bir veya birden fazla sıra kullanmanız mümkündür. Boş bir reddetme bölümü hiçbir şeyi reddetmiyorsunuz anlamına gelir, bu da temelde örümceklerin siteniz içerisindeki her yere erişebileceği anlamına gelmektedir.

Tarayıcı-anahtarları: *    User-agent: *

Reddetme: /                     Disallow: /

Yukarıdaki örnekte robots.txt dosyanızın sözünü dinleyen tüm arama motorları sayfanızı incelemeyecektir.

User-agent: *

Disallow:

Yukarıdaki örnekte, sadece tek bir karakter farkla, tüm arama motorları sitenizin tümünü inceleyebilecektir.

User-agent: googlebot

Disallow: /Photo

Yukarıdaki örnek Google’ın web siteniz içerisindeki Photo klasörü ve içerisindeki her şeyi incelemesini engelleyecektir. Bu /Photo klasörünün tüm alt klasörlerinin örümcekler tarafından incelenemeyeceği anlamına gelir. Bu photo isimli klasörün de engelleneceği anlamına gelmez. Bu bölüm büyük küçük harfe duyarlı olarak çalışmaktadır.

Google botları için robots.txt dosyasımı nasıl optimize edileceğini bilmiyorsanız da aşağıdaki videoda eski Google spam takımın başı olan Matt Cutts’tan bu konuya dair bir açıklaması var, izleyebilirsiniz.

Wildcard’lar Nasıl Kullanılır / Standart İfadeler

Resmi olarak, standart robots.txt dosyası wildcard’ların standart ifadelerini desteklemez. Bununla birlikte, tüm büyük arama motorları bunları okurlar. Bu robots.txt dosyanız içerisinde aşağıdaki satırlara sahip olabileceğiniz anlamına gelir.

Disallow: /*.php

Disallow: /copyrightred-images/*.jpg

Yukarıdaki örnekte, * hangi dosyalarla isim olarak eşleşiyorsa o dosyaları temsil etmektedir. Unutmayın ki, satırın geri kalanı büyük küçük harf duyarlıdır, yani ikinci satır adı /copyrighted-images/example.JPG isimli bir dosyanın arama motorlarınca incelenmesini engellemeyecektir.

Google gibi bazı arama motorları, daha karmaşık standart ifadelerin kullanımına imkan tanır. Unutmayın ki arama motorlarının tümü bu mantığı algılamazlar. Bu mantığın en kullanışlı ifadesi $ ifadesidir. URL’nin sonunu temsil eder. Aşağıdaki örnekte bu ifadenin ne yaptığını görebilirsiniz:

Disallow: /*.php$

Bu /index.php dosyasının indekslenemeyeceği anlamına gelir, fakat /index.php?p=1 indekslenebilir. Tabi ki bu oldukça spesifik şartlar altında geçerlidir ve oldukça da tehlikelidir: Engelini kaldırmak istemediğiniz şeylerden engelin kalkmasına yol açabilir.

Standart Olmayan Robots.txt İnceleme Direktifleri

Reddetme ve tarayıcı-anahtarı direktiflerine ek olarak kullanabileceğiniz birkaç tane daha direktif bulunmaktadır. Bu direktifler tüm arama motoru örümcekleri tarafından desteklenmezler. Bu nedenle bu direktiflerin sınırlarının olduğundan haberdar olun.

İzin ver direktifi

Her ne kadar orijinal şartnamede yer almasa da, robots.txt’nin ilk oluşturulduğu dönemlerde “Allow” direktifi ile ilgili bir görüş bildirimi bulunmaktaydı. Çoğu arama motoru bu direktifi algılar ve çok basit direktifler halinde kullanılmasına izin verirler.

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

İzin ver direktifini (allow) kullanmadan aynı sonuca ulaşmanın tek yolu, spesifik olarak wp-admin içerisindeki admin-ajax.php haricindeki tüm dosyaları reddet olarak direktiflemektir.

Noindex Direktifi

“noindex” direktifi az bilinen direktiflerden birisidir. Google bu direktifi destekler. Biz bu direktifin oldukça tehlikeli bir direktif olduğunu düşünüyoruz. Eğer bir sayfayı arama sonuçlarından uzak tutmak istiyorsanız genelde bunun için iyi bir nedeniniz var demektir. Bu metodu kullanarak bir sayfayı engellemeniz, bu sayfayı sadece Google’dan engelleyecektir. Bu nedenle diğer arama motorlarında bu sayfa görünür olacaktır. Yine de robots.txt dosyanız içerisine eklediğiniz bu direktif bazı spesifik Googlebot’ları için çok kullanışlı olabilir. Özellikle de crawl budget’ınızı geliştirmeye çalışıyorsanız. Unutmayın ki, noindex direktifi resmi olarak Google tarafından da desteklenmez. Her ne kadar şu an için çalışıyor olsa da gelecekte çalışmama olasılığı da vardır.

Host Direktifi

Yandex tarafından desteklenen bu direktif(her ne kadar bazı makalelerde desteklendiğini söylese de Google tarafından desteklenmez ), arama motorunun example.com şeklinde mi yoksa www.example.com şeklinde mi göstermesini tercih ettiğinizi belirtir. Özellikle belirtmeniz halinde iş görecektir:

host: example.com

Host direktifini sadece Yandex desteklediği için, güvenmenizi tavsiye etmeyiz. Ayrıca size bir düzen(http veya https) tanımlama seçeneği de vermez. Tüm arama motorlarında çalışan daha iyi bir çözüm olarak karşımıza istemediğiniz versiyonlara karşılılık gelen indekslenmesini istemediğiniz bilgisayar adları olarak 301 yönlendirmeleri çıkıyor. Bu noktada www.example.com ‘u exapmle.com’a yönlendirebilirsiniz.

İnceleme-Gecikmesi Direktifi (Crawl-Delay)

Yahoo!, Bing ve Yandex tarafından desteklenen crawl-delay direktifi zaman zaman bu üçlüyü yavaşlatmak için oldukça kullanışlı olabiliyor. Bu arama motorları direktifleri okuma konusunda az miktarda farklı bir yaklaşıma sahipler, fakat temelde elde edilen sonuç aynı.

Aşağıdaki satır Yahoo! ve Bing’in inceleme işleminden sonra 10 saniye beklemesini sağlayabiliyor. Yandex ise sitenize her 10 saniyelik zaman çerçevesinde bir erişebiliyor. Anlamsal fakat bilmesi ilgi çekici bir farklılık. crawl-delay’e örnek olarak:

crawl-delay: 10

Crawl-delay direktifini kullanırken dikkatli olun. 10 saniyelik bir crawl-delay belirlediğiniz takdirde arama motorlarına sadece 8,640 adet sayfayı inceleme izni veriyorsunuz. Küçük bir site için bu değer çok büyük görünebilir, fakat büyük bir site için bu değer çok da fazla bir değer değildir. Diğer bir taraftan bu arama motorlarından eğer neredeyse hiç trafik almıyorsanız, bant genişliğinden tasarruf etmenin iyi bir yoludur diyebiliriz.

XML Site Haritaları İçin Sitemap

Sitemap direktifini kullanarak arama motorlarına – özellikle de Bing, Yandex ve Google – XML site haritanızın yerini söyleyebilirsiniz. Ayrıca, tabi ki, XML site haritanızı herbir arama motoruna onların webmaster araçlarını kullanarak tanıtmanız da söz konusudur. Bunu özellikle tavsiye edebiliriz. Arama motorlarının webmaster araçları programları siteniz hakkında çok değerli bilgiler verecektir. Eğer bunu yapmayı düşünmüyorsanız, robots.txt dosyanıza sitemap satırı eklemeniz iyi ve çabuk bir seçenek olarak karşınıza çıkıyor.

Robots.txt Dosyanızı Onaylatın

robots.txt dosyanızı onaylatmak için internet üzerindeki çok sayıda yardımcı araçtan faydalanabilirsiniz. Fakat olay crawl direktiflerini onaylatmaya geldiğinde, kaynağa inmenizi tavsiye ederiz. Google arama konsolunda (crawl menüsü içinde) yer alan Google’ın robots.txt test aracını kullanmanızı öneririz.

Yayınlamadan önce yaptığınız değişiklikleri test edin ya da bir SEO ajansı ile görüşüp yardım isteyin! Eğer robots.txt- gibi bir hata yaparsanız, bu hatayı yapan ve arama motorları tarafından tanınmayan ilk site sizinki olmaz.