Měříme AI v týmu: od acceptance rate k DORA metrikám

Podle reportu Jellyfish State of Engineering 2025 nastal masivní skok: AI dnes používá 90 % vývojových týmů (loni to bylo „jen“ 61 %). Skoro polovina firem už dokonce generuje víc než 50 % svého kódu pomocí AI.

‍

Jenže je v tom háček. Jen 33 % leaderů má v ruce tvrdá data o návratnosti (ROI). Zbytek se pohybuje v rovině „asi to pomáhá, ale zatím nevíme jak“. Investujeme do licencí GitHub Copilot, Claude nebo Cursor, platíme API kredity a čas na školení, ale často střílíme naslepo.

Proč měřit AI adopci

Bez měření nevíte:

• Kdo nástroje skutečně používá (a kdo ne)
• Jestli se investice vrací
• Kde jsou příležitosti ke zlepšení

V Etneteře jsme si řekli, že chceme vidět data. Výsledkem je AI Checker, interní dashboard, který sbírá metriky ze čtyř AI nástrojů a ukazuje je na jednom místě.

‍

Co měříme (a proč to nestačí)

AI Checker agreguje data z GitHub Copilot, Claude Code, Cursor a Junie. Každou hodinu stahuje metriky a počítá:

• Acceptance rate: kolik AI návrhů vývojář přijal vs. odmítl. Je to první metrika, kterou každý měří. A má smysl. Ukazuje, jestli nástroj vůbec funguje ve vašem prostředí.
• Interakce: přepočet přijatých řádků kódu na interakce. Umožňuje srovnání napříč nástroji.
• Kategorizace uživatelů:
  
  • AI_FIRST: >100 interakcí/den‍
  • REGULAR: 20-100 interakcí/den‍
  • LOW: 1-19 interakcí/den
  • ‍NON_USER: 0 interakcí/den

Tohle vám řekne, kdo je power user a kdo potřebuje podpořit. Okamžitý přehled, bez složité implementace.

Ale pozor! Acceptance rate je to, co měříme, když ještě nevíme, co je důležité. Je to placeholder metrika. Chytré organizace ji používají dočasně. Ověří, že nástroj funguje, a pak přejdou na business metriky.

Paradox produktivity: rychleji neznamená lépe

Google DORA Report 2025 přinesl důležité zjištění. AI adopce koreluje s vyšším throughputem, ale také s vyšší nestabilitou.

‍

Konkrétní čísla:

• 90% nárůst AI adopce = odhadovaný 9% nárůst bug rate
• 91% nárůst času na code review
• 154% nárůst velikosti pull requestů
• 8x více bloků s duplicitním kódem

67% vývojářů reportuje, že tráví více času debugováním AI-generovaného kódu. Tohle není důvod AI nepoužívat. Je to důvod měřit víc než jen acceptance rate.

DORA metriky: co skutečně ukazuje výkonnost

DORA (DevOps Research and Assessment) od Google definuje čtyři klíčové metriky:

• Velocity metriky (rychlost)
  
  • Deployment Frequency: jak často deployujete do produkce‍
  • Lead Time for Changes: čas od commitu po produkci
• ‍Stability metriky (spolehlivost)
  
  • Change Failure Rate: procento deploymentů, které způsobí problémy‍
  • Mean Time to Restore (MTTR): jak rychle opravíte výpadek

Elitní týmy deployují vícekrát denně, mají lead time pod jeden den, change failure rate 0-15% a MTTR pod hodinu.

Proč jsou DORA metriky lepší

Protože měří výsledky, ne aktivitu. Acceptance rate vám řekne, že vývojář přijímá AI návrhy. DORA metriky vám řeknou, jestli díky tomu dodáváte rychleji a spolehlivěji.

‍

DORA Report 2025 to shrnuje jednou větou: „AI doesn't fix a team; it amplifies what's already there.” Týmy se silnými procesy využijí AI k vyššímu throughputu se stabilní kvalitou. Slabé týmy zjistí, že vyšší objem změn jen zhorší existující problémy.

Praktický přístup: začněte hned, rostěte postupně

Fáze 1: Okamžitý přehled (dny)

Začněte tím, co můžete měřit hned:

• Počet aktivních uživatelů AI nástrojů
• Acceptance rate
• Kategorizace (power users vs. non-users)

To je to, co dělá AI Checker. Žádná složitá integrace, ale data z existujících API.

Fáze 2: DORA metriky (měsíce)

Implementujte plné DORA měření:

• Napojení na CI/CD pipeline
• Tracking deployment frequency
• Měření MTTR z incident management systému

Fáze 3: Business metriky (kontinuálně)

Propojte s business výsledky:

• Čas na dodání feature
• Náklady na vývoj
• Spokojenost zákazníků

Technologie pod kapotou

AI Checker běží na moderním stacku:

• Backend: Node.js, Express, Prisma, PostgreSQL
• Frontend: Next.js, React, shadcn/ui, Recharts
• Auth: Azure Entra ID (SSO)
• Hosting: Azure Container Apps (scale-to-zero)
• Monitoring: Azure Application Insights

Čtyři klientské knihovny stahují data z GitHub Copilot Metrics API, Anthropic Analytics API, Cursor Enterprise API a JetBrains Account API. Data se agregují do denních a měsíčních souhrnů.

Proč se měření vyplatí

Data z Jellyfish ukazují konkrétní benefity měřené AI adopce:

• o 113 % více merged PRs na inženýra (z 1.36 na 2.9 při plné adopci)
• o 24 % kratší cycle time (z 16.7 na 12.7 hodin)

GitHub reportuje podobné výsledky. Týmy s Copilotem mergují pull requesty o 50 % rychleji a snížily lead time o 55 %. Firmy s daty o AI adopci vidí ROI během 3-6 měsíců. Ty bez měření? Věří, ale neví.

‍

Co říká DORA 2025: AI zesiluje existující stav. Týmy se silnými procesy (code review, CI/CD, testování) využijí AI k vyššímu throughputu. Proto je důležité měřit nejen adopci, ale i kvalitu a DORA metriky vám to umožní.

‍

Začněte měřit, směřujte k DORA

AI Checker je první krok. Dá vám okamžitý přehled o tom, kdo jsou vaši power users, které nástroje reálně táhnou a jak adopce roste v čase. Ale u sledování licencí to nekončí.

‍

Skutečná hodnota AI se musí projevit v DORA metrikách. Elitní týmy pak díky AI deployují několikrát denně, mají Lead Time pod jeden den a drží MTTR (čas na opravu) pod hodinou.

‍

Začněte jednoduchým měřením, ale směřujte k byznysovým výsledkům. Protože asi to funguje není strategie, ale hazard s rozpočtem.

‍

Chcete mít v datech jasno i u vás? V Etneteře vám pomůžeme s implementací AI nástrojů i nastavením jejich měření. Ozvěte se nám a probereme to.

‍

‍