Ne yazık ki, performans testi araçları, gerçek bir kullanıcının herhangi bir uygulamaya erişirken göstereceği davranışın aynısını taklit etmez. Doğru sonuçlar elde etmek için önce bunları kalibre etmeniz gerekir.
-Roland Van Leusden
Açıkçası, şu ana kadar doğru dürüst performans testi yapan bir kuruluş görmedim. Belki biraz şanssızım ya da biraz karamsarım (hatta biraz abartıyorum), ama durum bu! Bazı kuruluşlarda uygun olmayan araçlar kullanıyorduk, bazılarında çıktılar, süreçler ve raporlama eksikti ve diğerlerinde performans gereksinimleri eksikti.
Ancak en önemlisi, yukarıdakilerin tümü için performans test aracı kalibrasyon fenomeninden habersizdik. Başka bir deyişle, araçların davranışına ve çıktısına yüzde 100 güveniyorduk. Bu gerçeği fark ettikten sonra, takım kalibrasyonunu ihmal ederseniz, performans testinde başarıyla uyarladığınız süreçlerin, çıktıların, raporlamanın, gereksinimlerin ve diğer her şeyin değersiz olduğunu rahatlıkla söyleyebilirim. Sana söyledim; gerçek acıdır!
Tüm bunlar, şu ana kadar yapılan performans testlerinin (en azından benim gerçekleştirdiklerim!) gerçek sonuçları yansıtmadığı (ve çöp olarak atılabileceği) anlamına mı geliyor? Hayır, bunu söyleyemem; ama ciddi şüphelerim var. Umarım eski amirlerim ve yöneticilerim bu blog gönderisini okumazlar!
Romanya Test Topluluğu Konferansı’nda, Hollanda’dan bir meslektaşım ve eski bir dostum olan Roland Van Leusden tarafından bu gerçeği mükemmel bir şekilde açıklayan ilginç bir oturum düzenlendi. Roland’ın konuyla ilgili araştırmasına ve bilgisine büyük saygı duyuyorum, bu yüzden bana bu konuda biraz ayrıntı vermesini istedim. İşte söylemek zorunda olduğu şey:
“Bir cetvel aldığımızda belli bir tolerans dahilinde doğru olmasını bekleriz. Daha pahalı bir cetvel aldığımızda, hangi koşullar altında cetvelin tam olarak bir metre uzunluğunda olacağını belirten bir kalibrasyon sertifikası ile birlikte gelir. Performans testi araçları ile böyle bir kalibrasyon ve sertifikasyon yoktur; sadece elli kullanıcı ile koştuğunuzda, elli gerçek kullanıcıya eşit bir yük üreteceğine ve üreteceğine inanmalısınız.
Araştırmadan sonra, araçları varsayılan ayarlarıyla kullandığınızda durumun böyle olmadığını buldum. Uygulamanız ile kullanıcının istemci, ağ ve sunucu düzeyinde ne yaptığını analiz etmeniz gerekir; bu sizin referansınız olacak. İşin iyi yanı, çoğu aracın gerçek kullanıcıya benzer davranışlar oluşturacak şekilde ayarlanabilmesidir; bununla birlikte, çeşitli düzeylerde ve takımlarda uygulamanız hakkında derinlemesine bilgi gerektirir. Doğru, üretime benzer sonuçlar elde etmek için, en iyi kullanıcı deneyimi için doğru kararları vermek üzere takımları kalibre etmeniz ve çıktıyı doğrulamanız gerekir.”
Herhangi bir itirazı olan?