MOBİL TEST VE TEST METRİKLERİNİN ÖNEMİ
Eğer korkuyorsan, yapma; yapıyorsan korkma!
-Cengiz han
Önce anlaşılmadıkça hiçbir şey sevilemez veya nefret edilemez.
-Leonardo da Vinci
Mobil uygulama test işindeyseniz, test metrikleri hakkında ne kadar az zaman harcarsanız, uygulamanız yayına girdiğinde o kadar fazla sorun yaşayacağınızı kabul etmeniz gerekir. Test etmek için ne kadar az zaman harcarsanız, o kadar memnun olmayan kullanıcılarınız olur. Buna ek olarak, beklenenden daha fazla test bütçesi kullanarak, yönetimin güvenini kaybedebilir, yazılım teslim yaşam döngünüzün yanlış alanlarını iyileştirebilir ve hatta sistem testi sırasında neden canlı bir kusurun bulunmadığını insanlara açıklayabilirsiniz.
Uygun test ölçümleriyle elde edeceğiniz bilgiler olmadan (1) testinizin ne kadar iyi/kötü olduğunu ve (2) geliştirme yaşam döngüsünün hangi bölümünün düşük performans gösterdiğini bilemezsiniz. Doğru sonuçlara ulaşmak ve duyurmak ve insanları iyi test yaptığınıza ikna etmek istiyorsanız test metriklerinize dikkat etmeniz gerektiğini asla unutmayın. Mobil işin içindeyseniz ve test metriklerine yeterince dikkat etmiyorsanız, sizin yerinize kullanıcılarınız kaliteyi duyuracaktır. Açıkçası, siz, profesyonel test uzmanı, bu durumda olmak istemezsiniz.
Test ölçümlerinizi toplamaya ve onlara azami dikkat göstermeye hazırsanız, çevrenizdeki insanları ikna etmeye hazırsınız demektir. Tüm ekibin taahhüdüne sahip olmadığınız sürece sağlıklı bir çalışma süreci oluşturamazsınız. Ekibiniz (proje yöneticileri, iş analistleri ve yazılım geliştiriciler dahil), toplayacağınız ve yayınlayacağınız ölçümlere bağlılık göstermelidir. Metriklerinizi toplarken, birkaç taraf (iş analistleri, yazılım geliştiriciler ve testçiler) arasında bir rekabet yaratacağınızı ve bu rekabetin direnç yaratacağını bilmek de önemlidir. Bulgularınız muhtemelen insanların konfor alanlarını kısıtlayacaktır. Bazı insanlar, metrikleri izleyerek oluşturacağınız şeffaf ortamdan hayal kırıklığına uğrayacaktır. Yayınladığınız ölçütlere itiraz edecekler ve daha da kötüsü, desteklerini geri alarak sizi korkutmaya çalışacaklar ve birkaç profesyonel olmayan tutum sergileyebilirler.
Zaten korkuyorsanız, herhangi bir metrik toplamamanızı ve yayınlamamanızı öneririm. Bir testçi olarak cesur, şeffaf ve bilgilendirici olmanız gerekir; aksi takdirde, herkes bir test paketinden bir test senaryosu çalıştırabilir. Önemli değil.
Aşağıdaki liste, metrik tabanlı test çerçevenizi ayarlarken göz önünde bulundurmak isteyebileceğiniz bazı ipuçlarını içerir:
- İnsanlara metriklerin neden gerekli olduğunu söyleyin.
- Uygun olan metrikleri seçin (test sürecinize, geliştirme metodolojinize, organizasyon yapınıza vb. uyan).
- Toplayacağınız/yayınlayacağınız her metriği yalnızca test edenlere değil, projeyle ilgili tüm kişilere açıklayın.
- Metrik tabanlı bir test projesini metrik tabanlı olmayan bir projeyle karşılaştırmaya çalışın ve metrik olmamasının sonuçlarını gösterin.
- İnsanları metriklere inandırın ve taahhütlerini alın (bazı iş analistleri ve size ve metriklere inanan bazı geliştiriciler gibi farklı gruplarda elçiler bulundurarak bağlılığı yayabilirsiniz).
- İlk test raporlarınızda bilgilendirici, nazik ve basit olmaya çalışın (ilk ölçümler çok önemlidir, bu yüzden insanların bunları birer birer sindirmesine izin verin).
- Kişiler yerine süreçleri ve ürünleri değerlendirmeye/izlemeye/ölçmeye çalışın (insanlar değerlendirildiklerini fark ettiklerinde, agresif ve doğal olmayan şekilde hareket edebilirler ve daha fazla içine kapanabilirler; en kötüsü, topladığınız verileri tahrif edebilirler ve yanlış ölçümler yayınlamanıza neden olabilir).
- İki farklı türde metrik yayınlayın: (1) belirli bir zaman noktası metrikleri (belirli bir t anındaki durumu gösteren bir anlık görüntü) ve (2) eğilim metrikleri (belirli bir süre boyunca herhangi bir etkinliği gösteren).
- Her test metriğini veya raporunu herkese göndermeyin; üst yöneticiler çok düşük seviyeli metriklerle ilgilenmeyeceklerdir (uygun bir ayrıntı düzeyinde bilgi eklemeniz gerekir).
- Raporlarınızda araçları ve uygun biçimleri kullanın; kesin olmayan metrikler, bir testçi olarak itibarınıza zarar verir (metrik tanımları, etiketler, eşikler, ekip ve her metrikte proje ve tarih bilgilerini içerir).
- Metrik raporları, yorumları ve yorumları içermelidir. İnsanlara ne yapmaları gerektiğini söylemeliler. Sayıları yayınlamak, onları yorumlamadığınız ve onlardan sonuçlar çıkarmadığınız sürece hiçbir şey ifade etmez.
- Yorumlarınızla yüzde 100 objektif olmaya çalışın; insanlar öznel argümanları sevmez veya güvenmez.
- Sadece kötü şeyler gösterme; her projede iyi şeyler olmalı (test metrikleri yalnızca eksik, eksik ve sorunlu alanları göstermek için değil, aynı zamanda güveninizi göstermek için de yayınlanır).
- Farklı metrikleri birbiriyle ilişkilendirmeye çalışın (örneğin, geçersiz kusurlar çoksa, geliştiriciler kusur raporlarını düzeltmek yerine anlamakta zorlandıkları için yüksek düzeyde kusur geri dönüşü veya düzeltme süresi olması mantıklıdır).
- Metrikler her zaman erişilebilir ve görünür olmalıdır. Bunları 7 gün 24 saat kullanılabilir hale getirmeniz gerekiyor.
- Sonuçlarınızı yayınlamadan önce yüzde 100 eksiksiz ve mükemmel olmayı beklemeyin (uzun süre beklemiş olsanız da olmasanız da, metrikleriniz mükemmel olmayacaktır, bu yüzden zamanınızı boşa harcamayın).
Şimdi hangi metriklerin toplanacağına dönüyoruz. Elbette burada listelenenlerden çok daha fazlasını bulabilirsiniz, ancak bu bir başlangıç noktasıdır. Metrikleri üç kategoride düzenleyeceğim: (1) test kaynakları, (2) test süreçleri ve (3) kusurlar.
1. Test Kaynakları Metrikleri
– Test süresi (program)
– Test bütçesi (adam-günlük çaba)
– Test kaynakları (ilgili kişiler)
– Test aşaması başına çaba yüzdesi (ör. yüzde 10 birim, yüzde 20 entegrasyon, yüzde 50 sistem, yüzde 10 UAT, yüzde 10 diğer)
– Test verimliliği (gerçek test çalışması/planlanan test çalışması)
– Test senaryosu oluşturma verimliliği (belirli bir süre içinde oluşturulan/hazırlanan test senaryoları)
– Test senaryosu yürütme verimliliği (belirli bir süre içinde yürütülen test senaryoları)
– Toplam kalite maliyeti ([tespit etme çabası + önleme çalışması + kusur düzeltme] / toplam proje çalışması)
– Test maliyeti farkı (kazanılan değer–gerçek maliyet)
– Test programı varyansı (kazanılan değer–planlanan değer)
2. Test Süreci Metrikleri
– Toplam test senaryosu sayısı
– Geçilen, başarısız olan, engellenen, çalıştırılmayan, sonuçsuz test senaryosu sayısı
– Yürütme oranı ([geçti + başarısız sayısı] / toplam test senaryosu sayısı)
– Kalite oranı (geçilenlerin sayısı / yürütülenlerin sayısı)
– Gereksinim kapsamı
– Gereksinim değişkenliği (belirli bir süre içinde gereksinim başına güncellemeler)
– Test etkinliği / test kalitesi (test sırasında bulunan kusurlar / toplam kusur sayısı)
3. Kusur Metrikleri
– Bulunan kusur sayısı
– Açık/kapalı kusur sayısı
– Platforma göre kusurlar (iOS, Android, BlackBerry vb.)
– Görüntü yoğunluğuna/boyutuna göre kusurlar
– Önceliğe göre kusurlar (bir kusurun ticari etkisi)
– Önem düzeyine göre kusurlar (sistem etkisi/bir kusurun düzeltme maliyeti)
– Kök nedene göre kusurlar, kusur sınıflandırması (eksik gereksinim, geçersiz veriler, kodlama hatası, yapılandırma sorunu vb.)
– Test aşamasına göre kusurlar (birim, entegrasyon, sistem, UAT vb.)
– Durumlara göre kusurlar (açık, kapalı, devam eden vb.)
– Kusur kümeleme (kusurlar en çok nerede ortaya çıkıyor?)
– Kusur geri dönüş süresi (bir kusuru düzeltmek için harcanan süre)
– Kusur reddetme oranı (geçersiz kusurların oranı)
– Hata düzeltme ret oranı (düzeltilmemiş kusurların oranı)
– Gereksinim başına kusur
– Geliştirici günü/kod satırı başına kusur
– Kusur bulma oranı (belirli bir süre içinde kaç tane bulunur)
Testçiler değerlendirici olduklarından, ölçümde de metriklerde olduğu kadar büyük bir değer olduğuna inanmaları gerekir. Metrikler, tüm proje paydaşlarına sayısız fayda sağlar. Metrikler, test sürecini şeffaf, görünür, sayılabilir ve kontrol edilebilir hale getirir ve bir şekilde zayıf alanlarınızı onarmanıza ve ekibinizi daha etkin yönetmenize olanak tanır.
Bir testçinin asla varsaymadığını söylüyorsanız, bu fikri metriklere olan inancınızla desteklemeniz gerekir. Eğer metrikleriniz yoksa ispatlanmış gerçeklerden ziyade varsayımlarla hareket etmek zorundasınız. Yani bir seçim yapmanız gerekiyor: Varsaymak mı istiyorsunuz yoksa emin olmak mı istiyorsunuz?