Jak vybrat nejlepší nástroj pro testování automatizace?

V článku Vylepšení testovacího procesu, naučili jste se body pro zlepšení z projektu Guru99 Bank. Používá automatizované Testování místo Ruční testování. Ale členové týmu se vás mohou zeptat –

Odpověď na tuto otázku je náročná, protože existuje mnoho faktorů, které je třeba zvážit

• Chcete podpořit své testovací aktivity pomocí softwarového nástroje, ale neznáte nástroje aktuálně dostupné na trhu
• Jaký typ nástroje bude nejlépe vyhovovat požadavkům a rozpočtu projektu?
• Kdo z týmu má dovednosti používat nástroj, jakmile si jej zakoupíte

Důležitost výběru nástroje pro testování softwaru

Úspěch v jakékoli automatizaci testování závisí na identifikaci správného nástroje pro automatizaci. Výběr „správného“ testovacího nástroje pro váš projekt je jedním z nejlepších způsobů, jak dosáhnout cíle projektu. Následující příklad vám ukáže výhodu výběru testovacího nástroje

V projektu GuruAby se ušetřilo úsilí spojené s testováním, rozhodl se projektový tým použít pro provedení testu automatizovaný testovací nástroj. Po mnoha schůzkách váš tým vybral pro projekt vhodný nástroj.

O měsíc později jste dostali zprávu od projektového týmu o tomto nástroji

Výsledky jsou skvělé. Nový automatizovaný nástroj zdvojnásobil produktivitu testování. Znamená to, že jsme ušetřili 50% náklady na provedení testu. Pokud máte zájem prozkoumat další možnosti pro vaše projekty, podívejte se na tento seznam automatizované testovací nástroje.

Toto je příklad výhody použití testovacího nástroje v projektu. Výběr správného testovacího nástroje vám pomůže zlepšit produktivitu projektu a ušetřit náklady na projekt.

Typ zkušebních nástrojů

Existuje mnoho typů testovacích nástrojů, které může Test Manager vzít v úvahu při výběru testovacích nástrojů.

Nástroje s otevřeným zdrojovým kódem

Nástroje s otevřeným zdrojovým kódem jsou programy, ve kterých je zdrojový kód otevřeně zveřejněny k použití a/nebo úpravě oproti původnímu návrhu, zdarma.

Nástroje s otevřeným zdrojovým kódem jsou k dispozici pro téměř jakoukoli fázi testovacího procesu, od Testovací případ vedení k Přeběhnout trackrál. Ve srovnání s komerčními nástroji mohou mít nástroje s otevřeným zdrojovým kódem méně funkcí.

Komerční nástroje

Komerční nástroje jsou software, který se vyrábí za účelem prodeje nebo slouží komerčním účelům.

Komerční nástroje mají větší podporu a více funkcí od dodavatele než nástroje s otevřeným zdrojovým kódem.

Vlastní nástroje

V některých testovacích projektech má testovací prostředí a testovací proces speciální vlastnosti. Žádný open-source nebo komerční nástroj nemůže splnit požadavek. Proto musí Test Manager zvážit vývoj vlastního nástroje.

Příklad: Chcete najít testovací nástroj pro projekt Guru99 Bank. Chcete, aby tento nástroj splňoval nějaké specifické požadavky projektu.

Analýza proveditelnosti automatizace

Zpět k výše uvedenému příkladu se projektový tým rozhodl vyvinout vlastní nástroj, který dokáže splnit požadavky projektu. Předpokládejme, že dostali 100 testovacích případů k automatizaci a odhadli 5 dní na vývoj nástroje, který dokáže automatizovat všechno těch testovacích případů.

Zde je výsledek jejich práce

Stejně jako ve výše uvedeném scénáři je problém v tom, že testovací nástroj nemůže automatizovat všechny testovací případy specifikace testu. Znamená to, že ne vše funkce aplikace mohou být důkladně testováno pomocí testovacího nástroje.

Pokud je funkčnost testované aplikace se často mění nebo je taky složitý, je obtížné vytvořit automatizaci testování pro všechno funkce aplikace, protože každý nástroj má své vlastní omezení.

Pokud nechcete být v takové situaci, musíte před výběrem testovacího nástroje analyzovat testovací případy a rozhodnout, které testovací případy by měly být automatizovány a které nikoli. To je Analýza proveditelnosti automatizace aktivitu.

Analýza proveditelnosti automatizace je velmi významným přispěvatelem do testování. V této analýze musíte zkontrolovat, zda je testovaná aplikace kvalifikovaný pro automatizovaný test.

Některé faktory, které musíte zvážit:

Chcete-li se o těchto faktorech dozvědět více, můžete použít a Kontrolní seznam který je součástí tohoto článku

Jak vybrat nejlepší nástroj pro testování automatizace

Pro výběr nejvhodnějšího testovacího nástroje pro projekt by měl Test Manager postupovat podle níže uvedeného procesu výběru nástrojů

Krok 1) Určete požadavek na nástroje

Jak si můžete vybrat testovací nástroj, když nevíte, co hledáte?

Můžete přesně určit požadavky na váš testovací nástroj. Všechny požadavky musí být splněny dokumentovány a přezkoumána projektovými týmy a správní radou.

Zvažte následující příklad:

Krok 2) Vyhodnoťte nástroje a dodavatele

Po základním nastavení požadavku nástroje by měl Správce testů

• Analyzujte komerční a open source nástroje, které jsou dostupné na trhu, na základě požadavků projektu.
• Vytvořit užší výběr nástrojů která nejlépe odpovídá vašim kritériím
• Jeden faktor, který byste měli zvážit, je dodavatelé. Při rozhodování byste měli vzít v úvahu pověst prodejce, poprodejní podporu, frekvenci aktualizací nástrojů atd.
• Vyhodnoťte kvalitu nástroje tím, že si vezmete zkušební použití a spuštění pilotního projektu. Mnoho prodejců často zpřístupňuje zkušební verze svého softwaru ke stažení

Krok 3) Odhadněte náklady a přínos

Aby bylo zajištěno, že testovací nástroj je pro podnikání přínosný, musí to udělat manažer testu vyvážit následující faktory:

A analýza nákladů a přínosů je třeba provést před pořízením nebo stavbou nástroje

Příklad: Poté, co projektový tým strávil značnou dobu zkoumáním testovacích nástrojů, našel pro projekt perfektní testovací nástroj. Guru99 Webové stránky banky. Výsledky hodnocení dospěly k závěru, že tento nástroj by mohl

• Double aktuální produktivita provádění testů
• Snížit úsilí o řízení o 30 %

Po diskuzi s dodavatelem softwaru jste však zjistili, že stát tohoto nástroje je příliš vysoká ve srovnání s hodnota a prospěch které může přinést do týmové práce.

V takovém případě vyvážit mezi cenou a přínosem nástroje může ovlivnit konečné rozhodnutí.

Krok 4) Udělejte konečné rozhodnutí

Pro konečné rozhodnutí musí mít manažer testu:

• Mít silné povědomí nástroje. To znamená, že musíte pochopit, co to je silný body a slabý body nástroje
• Zůstatek náklady a přínosy.

I přes hodiny strávené čtením příručky k softwaru a informací o dodavateli možná budete muset nástroj před zakoupením licence vyzkoušet ve skutečném pracovním prostředí.

Měli byste mít schůzku s projektovým týmem, konzultanty, abyste získali hlubší znalosti o nástroji.

Vaše rozhodnutí může nepříznivě ovlivnit projekt, proces testování a obchodní cíle; měli byste si to pořádně promyslet.

Co je třeba zvážit při výběru nástroje pro správu testů

Vzhledem k široké škále dostupných možností je snadné se při nakupování zmástping pro nástroj pro správu testů. Toto je nestranný průvodce, který vám pomůže najít nejlepší nástroj dle tvoje potřeby.

V této příručce vám poskytnu 5 nejdůležitějších, ale často ignorovaných parametrů při výběru nástroje pro správu testů. Ale než začnu, dovolte mi zopakovat-

Nesrovnávejte jablko a pomeranče

Nemá smysl porovnávat nástroj SaaS za 30 $ měsíčně s plnohodnotným komerčním nástrojem za 6000 XNUMX $, když to váš rozpočet neumožňuje. Je důležité, abyste svůj nástroj filtrovali pomocí seznamu na základě ROZPOČET První. Pokud máte rozpočet, open source je dobrá volba. Přestože jsou komerční nástroje drahé, nabízejí skvělou podporu a snadno se používají se spoustou školicích materiálů.

Další věc, kterou byste měli vypočítat, je cena vaší licence. K tomu potřebujete odhadnout dobu trvání testu a jakou metodu testování zvolíte. To vám pomůže zjistit, jaký model by se vešel do vašeho rozpočtu, například zda chcete platit jako za registrovaného uživatele, souběžného uživatele nebo trvalého uživatele. Obvykle jsou trvalé nebo jednorázové náklady vyšší z důvodu kapitálových nákladů. Pro určitý software potřebujete runtime licenci. Ne všichni dodavatelé podporují run-time licence, takže musíte zvážit náklady na run-time licence také v případě, že uvažujete o instalaci do různých počítačů.

Jakmile si vyberete své možnosti na základě rozpočtu, zde je 5 velmi důležitých parametrů pro porovnání vašich nástrojů pro správu testů –

Tip #1 Nástroj pro správu testů by měl zlepšit produktivitu

Testovací týmy čelí náročným výzvám, aby držely krok s rychlými technologickými změnami a potřebou testování na více platformách (prohlížeče i zařízení). Protože ruční testování zabírá většinu času testování, jedním ze způsobů, jak se s tímto problémem vypořádat, je zintenzivnit automatizaci. Existují však další oblasti pro zlepšení účinnosti nástroje, který mimo jiné zahrnuje efektivní testovací laboratoř/správu dat, správu vydání a přehledné hlášení. Výběr správného nástroje Test Management Tool může výrazně pomoci při zlepšování těchto parametrů.

Podívejme se na to, co se vyžaduje od nástroje pro správu testů z hlediska produktivity –

Granularita testových informací

Nástroj pro řízení testů by měl obsahovat podrobné informační zprávy týkající se procesu testování. Například při selhání testovacího případu je vždy užitečné vědět, ve kterém kroku test selhal, místo abychom věděli, že testovací případ selhal jako celek. Bez ohledu na drobné změny provedené během testování by měl nástroj pro řízení testu informovat o změnách příslušné členy týmu. Pro snadné sledování a rychlou akci by měl také vést auditní záznam změn, včetně plné verze testovacích případů. Nástroj pro správu testů by měl také ukládat výsledky testu jako relaci a musí mít možnost porovnávat výsledky testu. Další funkce, které se od standardních nástrojů pro správu testů očekávají, jsou dokumentování testovací strategie, plánování provádění testů, vytváření defektů, propojování příběhů, atd. Funkce nahrávání videa a podpora API by byla třešničkou na dortu.

Správa verzí Trackrál (DevOps)

Vydávání verzí softwaru je složité a zahrnuje řadu aktivit (jako např. trackrál verzí sestavení, koordinace týmu a transparentnost vydaných verzí), to vše probíhá současně. Dobrý nástroj pro správu testování musí mít robustní systém správy vydaných verzí. tracschopnost uchovávat záznamy o seznamu testovaného a vydaného softwaru, aby nedocházelo ke kolizi s jinými testovacími artefakty. Měl by také být schopen spravovat všechny artefakty projektu v jednom prostředí.

Nástroj pro správu testování musí poskytovat jednotný pohled na požadavky pro všechny zúčastněné strany. Spolupráce se zúčastněnými stranami zaručuje, že budou zachyceny správné požadavky. Nástroj by měl být schopen trace vazby mezi dalšími rozvojovými aktivy a požadavky.

Pro distribuované týmy by měl poskytovat jediné sdílené úložiště pro spolupráci a sdílení požadavků, hodnocení propojených defektů a pochopení jejich vztahu k testům.

Pro kvalitu a konzistenci musí váš nástroj pro správu testů prosazovat standardizaci.

Hlášení

Je to chaos, pokud váš testovací tým ví, kolik defektů je ve vydání otevřených, ale neví, jak dlouho bude trvat, než je vyřeší. Při monitorování testovacích aktivit jsou testovací inženýři velmi závislí na zprávách generovaných nástrojem pro správu testů. Spolehlivý nástroj pro správu testů by měl v jejich zprávách poskytovat následující informace, např průběh plánu testu, stav vytváření testovacího případu, testovací případ neúspěšný a úspěšný, stav testu podle sad, stav testu podle oblasti, testovací případ, který má být automatizován, atd.

Váš nástroj pro správu testů by měl umožňovat plnou viditelnost vývojářské činnosti a procesů životního cyklu od správy požadavků až po testování a opravy defektů.

Dobrý nástroj pro správu testů by měl obsahovat následující atributy

• Graf a řídicí panel by měly poskytnout přehled o tom, kolik vašich automatických testů bylo spuštěno nebo čeká na provedení
• Měl by zdůrazňovat běžné testovací atributy, jako je počet úspěšných/neúspěšných/přeskočených testovacích případů, zátěž uživatele atd.
• Rozhodněte o připravenosti každého vydání
• Prohlédněte si své automatizované testovací běhy spolu s výsledky manuálních testů

Tip č. 2 Agilní podpora

Poptávka po agilitě na současném trhu roste a každým dnem roste. Je důležité, aby váš nástroj pro správu testů podporoval agilní metodiku. V Agile jsou požadavky proměnlivé a doplňují se postupně, váš nástroj pro správu testů by měl být schopen takové požadavky splnit. Nástroj pro správu agilních testů podle vašeho výběru by měl podporovat hluboké partnerství mezi vývojáři, testery a dalšími zúčastněnými stranami (základní princip agilnosti).

Nástroj pro správu agilních testů by měl podporovat

• Vytváření příběhů
• Odhad
• Sprint plánování nevyřízených věcí
• Tabulky rychlosti a další zprávy atd.
• Scrum a Kanban

V agilním prostředí by bylo srovnání testovacích běhů pomocí nástroje pro správu testů produktivní, pokud se díváte na změny v četnosti defektů na iteraci. Také pro agilní bude nástroj pro správu testů muset uchovávat záznam o vydání produktu pro každou iteraci a nevyřízené položky.

Tip č. 3 Externí integrace

Automatizované provádění testovacích případů může snížit velkou zátěž ze strany testovacích techniků. Měli byste vybrat nástroj pro správu testů, který se snadno integruje automatizační nástroje. Hledejte schopnost spravovat testovací skripty a také plánovat a spouštět test lokálně i na vzdáleném hostiteli. Rovněž je žádoucí možnost ukládat výsledky testů automatizace v nástroji pro správu testů. Váš nástroj pro správu testů musí podporovat kontinuální integrace. Hlavní výhodou nástroje pro správu testů s CI je automatické spouštění testů. Spuštění může být vyvoláno čímkoli, jako je potvrzení zdrojového kódu od vývojáře nebo testovací případ se základní automatizací testování nebo naplánovaná úloha na konkrétní čas. Průběžná integrace se liší v čase, detailech, směru a granularitě.

Pro jakýkoli tým QA integrace štěnice trackrálovský nástroj usnadňuje jejich proces testování. Standardní nástroj pro správu testů, který se bezproblémově integruje s aplikací SDLC nebo jinými chybami. tracNástroje King jako JIRA, BugZilla nebo Mantis přidávají tomuto nástroji větší hodnotu. Měly by uživatelům umožnit propojovat chyby, spouštět testovací případy a centralizovat správu procesu testování softwaru. Měly by také umožnit celému projektovému týmu pracovat společně na jednom problému současně.

Integrace vašeho podpůrný stolní systém je důležitou funkcí, kterou by měl poskytovat jakýkoli nástroj pro správu testů. Software pro podporu nebo jinak známý jako vstupenkový systém pomáhá uživatelům získat okamžité řešení jejich problému. Pomáhá zákazníkům získat přehled o všech otevřených i uzavřených záležitostech.

API Podpora vlastních integrací je žádoucí.

Tip #4 Mobil

Váš nástroj pro správu testů by měl podporovat mobilní zařízení a tablety.

Mobilní podpora je mimořádně užitečná pro týmy, které jsou u klienta, nikoli u stolu, nebo pro manažery, kteří pracují s týmy na různých geografických místech.

Nástroj pro správu testů musí mít v mobilu k dispozici úplnou (nikoli omezenou) sadu funkcí.

Podpora více zařízení a mobilních operačních systémů je důležitá, protože s rostoucím počtem zařízení přibývají problémy s polohou, gesty, akcelerometry a orientací. Koneckonců, nikdy si nekoupíte telefon s tím, že je kompatibilní s vaším nástrojem pro správu testů!

Tip č. 5 Podpora

Tým podpory dodavatele nástrojů pro správu testů by se měl zavázat pomáhat svým zákazníkům všemi možnými způsoby. Mnoho nástrojů pro správu testů se více zaměřuje na vytváření elegantních webových stránek a reklam.tracvíce zákazníků. Ale pro nepřetržité a opakované obchodování se musí zaměřit na poskytování nejlepší podpory na helpdesku.

Nejlepší nástroj pro správu testů by měl mít funkce jako živý chat, telefonní hovor, často kladené dotazy a online uživatelské příručky, informace o produktové dokumentaci, znalostní báze, získávání lístku na help desk, atd. pomoci svým zákazníkům.

Mnoho nástrojů pro správu testů také usnadňuje živá videokonference s odborníky na nástroje k řešení dotazů zákazníků. Pokud živá konference není proveditelná, pak by měla být na místě vždy k dispozici ukázky nebo nahraná videa související s nástrojem pro správu testů a kdykoli by k nim měla být přístupná. Zatímco pro vývojáře, pokud nástroj poskytuje podporu API nebo vlastní integraci, musí být poskytnut demo skript a podrobná dokumentace.

Ačkoli všechny výše uvedené kanály podpory nemusí být dostupné pro všechny nástroje, měli byste vybrat nástroj, který poskytuje vaše „přednostní“podpůrný kanál.

Dalším důležitým a často zapomínaným parametrem je, zda je prodejcem nástroje Zaměřené na zákazníka? Zde je několik věcí, které je třeba vzít v úvahu při výběru nástroje pro správu testů –

• Rozhraní nástroje by mělo být uživatelsky přívětivé a mělo by zahrnovat funkci zákaznické integrace
• Měl by pojmout více jazyků a více časových pásem
• Měl by mít pokročilé možnosti vyhledávání

Doufáme, že tato příručka pomůže při výběru nástroje, který nejlépe vyhovuje vašim testovacím potřebám! Pro komplexnější správu životního cyklu vaší aplikace možná budete chtít prozkoumat tyto Nástroje ALM.