Yorumdan ÖM'ye benchmark metodolojisi

Üç sayı bir yorumdan ÖM’ye kampanyasının ne kadar iyi çalıştığını tanımlar: eşleşme oranı, teslim oranı ve ilk ÖM’ye zaman. Üçü de aşağıda tanımlanır, oluşturulacak kampanya, gönderilecek yorumlar ve sonuçların yayımlandığı dosya ile birlikte. Hiçbir veri toplanmadı, bu yüzden bu sayfada hiçbir sonuç görünmez - yöntem önce, bilinçli olarak yayımlanır.

Durum: metodoloji yayımlandı; veri toplama başlamadı. Bu belgedeki her ölçülmüş alan ilk çalıştırma tamamlanana kadar boştur, o noktada sonuçlar ve ham veri seti burada yayımlanır.

Üç metriğin anlamı

Her metrik bir sayımın bir sayıma bölümüdür, bir bağlı sayfaya karşı bir çalıştırma üzerinden alınır ve her biri platformun AFP’ye hiç teslim etmediği denemeleri hariç tutan bir paydaya sahiptir.

Metrik	Tanım	Birim
Başlatılan denemeler	Çalıştırma sırasında test kampanyasının bir çalıştırmasını üreten gönderilen yorumlar	sayım
Eşleşme oranı	Çalıştırması koşul düğümünden Eşleşme üzerinden ayrılan denemeler, başlatılan denemelere bölünür	yüzde
Teslim oranı	Çalıştırması gönderilen bir ÖM kaydeden denemeler, çalıştırması ÖM gönder düğümüne ulaşan denemelere bölünür	yüzde
İlk ÖM’ye zaman	Gözlemcinin yorumu göndermesinden ÖM’nin alıcının görüşmesinde görünmesine kadar saniyeler	saniye, medyan ve 90. persentil olarak raporlanır

Eşleşme oranı koşul düğümünü ölçer, tetikleyiciyi değil. Bir tetikleyici düğümü anahtar kelime yapılandırması tutmaz, bu yüzden kapsamdaki gönderi üzerindeki her yorum bir çalıştırma başlatır ve koşul metnin karşılaştırıldığı tek yerdir. Anahtar kelime eşleştirme kuralları her eşleşme türünün yaptığı karşılaştırmayı tanımlar.

Teslim oranı AFP’nin kaydettiğini ölçer, alıcının gördüğünü değil. Hata yükselten bir ÖM gönder düğümü o hatayı kaydeder ve çalıştırma orada ilerlemeyi durdurur, bu yüzden başarısızlık görünürdür; Facebook veya Instagram tarafından kabul edilen ve sonradan filtrelenen bir mesaj bu tanım altında teslim edilmiş olarak sayılır.

İlk ÖM’ye zaman her iki uçta gözlemcinin saatinde ölçülür - yorum gönderildiğinde ve ÖM alıcının görüşmesinde göründüğünde. AFP içinde kaydedilen zaman damgaları platformdan gelir ve yalnızca bir çapraz kontrol olarak görev yapar.

Her sayı nereden alınır

Test kampanyası nasıl oluşturulur

Bir kampanya, dört düğüm, bekleme yok. Graftaki başka her şey üç metrikle hiç ilgisi olmayan bir değişken ekler.

Test altındaki sayfaya bağlı bir kampanya oluşturun ve tuvalde açın.
Bir yorum tetikleyicisi ekleyin. Gönderi kapsamını belirli bir gönderi olarak ayarlayın ve çalıştırma için oluşturulmuş bir gönderi seçin, bu yüzden diğer gönderilerdeki sıradan trafik örneğe giremez. Kişi başına benzersiz’i kapalı bırakın - açıkken, tekrar yorum yapan bir kişi kısa devre edilir ve deneme asla başlamaz.
Anahtar kelime listesi eşleşme türüyle bir koşul düğümü ekleyin, çalıştırma için oluşturulmuş bir anahtar kelime listesine işaret ederek. Ters eşleştirmeyi kapalı bırakın, görüntü, GIF ve bağlantı filtrelerini kapalı bırakın ve yanıt bekle’yi kapalı bırakın ki çalıştırma tek geçişte çözülsün.
Sabit bir metin mesajıyla bir ÖM gönder düğümü ekleyin, koşulun Eşleşme çıktısına bağlı. Eşleşme Yok’a hiçbir şey bağlamayın, bu yüzden eşleşmeyen bir çalıştırma koşulda biter ve geçmişte belirsizliksizdir.
Kampanyayı kaydedin, sonra etkinleştirin. Etkinleştirme grafiği doğrular ve kaydetmeden ayrı bir eylemdir.
O sayfadaki diğer her kampanyayı devre dışı bırakın. Tetikleyicisi eşleşen her aktif kampanya kendi çalıştırmasını başlatır ve aynı yorumu yanıtlayan iki kampanya teslim oranını anlamsız yapar.

Çalıştırma nasıl yürütülür

Önce ortam: bir Facebook sayfası ve bir Instagram iş hesabı, her ikisi bağlı ve abone, aboneliği aktif bir hesap altında. Abonelik aktif değilken gelen bir yorum abonelik hatası olarak kaydedilir ve saklanan erişimi çalışmayı durduran bir sayfa yeniden giriş hatası kaydeder. Her ikisi ortam başarısızlığı olarak sayılır ve her orandan hariç tutulur.

Anahtar kelime listesini tek bir anahtar kelimeye sabitleyin ve ÖM metnini sabitleyin. Her ikisini çalıştırma notlarında aynen kaydedin.
Deneme başına bir distinct yorumcu hesabı atayın. Bir kişi aynı anda bir kampanyanın bir aktif çalıştırmasını alır, bu yüzden ilk çalıştırma hala aktifken aynı hesaptan ikinci bir yorum atlanır ve örneği sessizce küçültür.
Sayfanın kendisinden başka hesaplardan yorum yapın. Sayfanın gönderdiği yorumlar görmezden gelinir, ki bu çalıştırmayı sayfa hesabından sürdürmeyi dışlar.
Her deneme için, bucket’ı için yorum metni gönderin ve gönderim zamanını gözlemcinin saatinde kaydedin.
Alıcının görüşmesini izleyin ve ÖM’nin varış zamanını aynı saatte kaydedin. Çalıştırma başlamadan önce seçilen ve sonuçlarla birlikte belirtilen sabit bir kesimden sonra bir varmama kaydedin.
Kampanyanın çalıştırma geçmişini okuyun ve deneme başına çalıştırmanın koşuldan Eşleşme üzerinden ayrılıp ayrılmadığını ve nerede durduğunu kaydedin. Geçmiş en son 20 çalıştırmayı döndürür ve kendini yenilemez, bu yüzden her yığını bunun altında tutun ve sonrakini başlatmadan önce okuyun.
Aktivite akışını sayfaya ve çalıştırmanın zaman penceresine filtreleyin, sonra dışa aktarın. Dışa aktarma akışın filtrelerini uygular ve JSON olarak indirilir ve deneme-denemeye tablosunun arkasındaki denetim izidir.
Kampanya şeklini, anahtar kelimeyi veya ÖM metnini değiştirmeden ikinci platformda tekrarlayın.

Yorum bucket’ları

Her deneme bir bucket’a aittir ve bucket hem gönderilen metni hem de alması beklenen dalı sabitler.

Bucket	Gönderilen	Beklenen dal
Tam anahtar kelime	Yalnızca anahtar kelime	Eşleşme
Cümlede anahtar kelime	Anahtar kelimeyi bir alt dize olarak içeren bir cümle	Eşleşme
Büyük harfte anahtar kelime	Anahtar kelime büyük harflerle yazılmış	Eşleşme
Yakın ıskalama	Anahtar kelimeyle bir ön ek paylaşan ama içermeyen bir kelime	Eşleşme Yok
İlgisiz metin	Hiç anahtar kelime içermeyen gönderi üzerinde bir yorum	Eşleşme Yok
Yalnızca ortam	Metinsiz bir çıkartma veya görüntü	Eşleşme Yok

Yalnızca ortam bir yorum koşula boş bir dize yerine bir yer tutucu metin olarak ulaşır, ki bu onun örnekte neden bulunduğudur: koşulun karşılaştırdığının yorumcunun yazdığı olmadığı tek bucket budur.

Sonuçlar

Sonuç yok. Veri toplama başlamadı ve bu sayfada hiçbir şey ölçülmedi.

Tanımlar, kampanya şekli, bucket’lar ve kesim herhangi bir sayı var olmadan önce kamuya açık olarak sabitlenir, bu yüzden nihai rakamlar veriyi gördükten sonra hiç kimsenin ayarlayamadığı bir protokole karşı kontrol edilebilir.

Ham veri seti ne içerecek

Çalıştırma başına bir JSON dosyası, özet tablonun yanında bu sayfada yayımlanır, deneme başına bir nesneyle. 7. adımda alınan aktivite dışa aktarması onunla değişmeden yayımlanır, bu yüzden her deneme AFP’nin kaydettiği satıra geri izlenebilir.

Alan	Neyi tutar
`trial_id`	Çalıştırma içinde sıra numarası
`platform`	`facebook` veya `instagram`
`bucket`	Yukarıdaki altı bucket adından biri
`comment_text`	Gönderilen tam metin
`comment_posted_at`	Gözlemci saati, yorum gönderildiğinde
`execution_started`	Bu yorum için bir çalıştırma oluşturulup oluşturulmadığı
`branch_taken`	`match`, `no_match` veya `none`
`dm_recorded`	Çalıştırmanın gönderilen bir ÖM kaydedip kaydetmediği
`dm_observed_at`	Gözlemci saati, ÖM görüşmede göründüğünde
`time_to_first_dm_seconds`	İki gözlemci zaman damgası arasındaki fark
`outcome`	`delivered`, `no_match`, `no_execution`, `environment_failure` veya `timeout`
`notes`	Deneme hakkında alışılmadık herhangi bir şey, düz metin olarak

Ölçülen alanlar çalıştırma onları doldurana kadar null’dur. Yayımlanan iskeletten bir deneme şöyle görünür:

[
  {
    "trial_id": 1,
    "platform": "facebook",
    "bucket": "exact_keyword",
    "comment_text": "price",
    "comment_posted_at": null,
    "execution_started": null,
    "branch_taken": null,
    "dm_recorded": null,
    "dm_observed_at": null,
    "time_to_first_dm_seconds": null,
    "outcome": null,
    "notes": ""
  }
]

Sınırlamalar

Teslim AFP’nin tek başına değil. AFP mesajı Facebook veya Instagram’a devreder; ondan sonra olan burada ölçülen hiçbir şeyin dışındadır ve ilk ÖM’ye zaman platformun kendi teslim zamanını içerir.
Bir hesap, bir kitle, bir pencere. Bir çalıştırma bir Facebook sayfasını ve bir Instagram iş hesabını günün bir zamanında kapsar. Farklı trafik, farklı takipçi sayıları veya farklı bir bölgeye sahip sayfalar hakkında hiçbir şey söylemez.
Gözlemci saatleri manüeldir. Zamanlama ölçümünün her iki ucu iki yüzeyi izleyen bir kişi tarafından kaydedilir, bu yüzden çözünürlük kabadır ve insan tepki süresi sayının içindedir.
Örnek sentetiktir. Bucket’ları doldurmak için yazılan yorumlar gerçek takipçilerin yazdığı yorumlar değildir ve yakın ıskalama bucket’ı özellikle eşleşme sınırına yakın oturmak için seçilmiştir.
Büyük/küçük harf işleme doğrulanmamış. Büyük harf bucket’ı ölçülür, ama onun için beklenen dal mühendislik karşılaştırmanın harf durumunu nasıl ele aldığını doğrulayana kadar doğrulanmamıştır.
Hiçbir rakip ölçülmez. Bu metrikler yalnızca AFP’yi tanımlar. Karşılaştırma sayfaları hiçbir rakip performans sayısının ölçülmediğini açıkça belirtir.
Oranlar kaydedilir, garanti edilmez. Buradaki hiçbir şey bir hizmet seviyesi değildir. Yayımlanan bir rakam bir günde bir çalıştırmayı tanımlar.

İlgili

Araştırma - bu sitedeki her çalışmanın tutulduğu standart ve şu ana kadar yayımlanan.
Yorumları ÖM’ye yönlendirin - bu yöntemin ölçtüğü kampanyayı nasıl oluşturacağınız.
Bir kampanyayı test et ve hata ayıkla - çalıştırmanın bağlı olduğu çalıştırma geçmişini okuma.
Çalıştırma durumları - durmuş, bekleyen veya başarısız bir çalıştırma geri okuduğunuzda ne anlama gelir.
Yorum moderasyonu - aktivite akışı ve dışa aktarması.