Jak to działa

Co dzieje się między ticketem a produkcją.

Scenariusze BDD, pytania do ludzi, agent QA i uczciwe granice. Szczegóły, na których stoi pipeline.

Przepływ

Od zgłoszenia do produkcji. Agenci w pętli, decyzje u ludzi.

Jeden przepływ, kilka warstw. Wybierz warstwę, żeby zobaczyć, kto co robi: pipeline developerski, pipeline QA, pipeline wdrożeniowy i miejsca, w których decydują Wasi ludzie.

Od zgłoszenia do produkcji. Tickety zakładają Wasi ludzie, użytkownicy produkcji i agent QA. Agent PM je przegląda i przydziela, a agenci pracują w pętli aż do scalenia zmian. Potem CD promuje zmianę przez kolejne środowiska.

CI nie przechodzi poprawki z review niejasny ticket odpowiedź nowe tickety błędy odużytkowników ← CD: promocja między środowiskamiraport: co naprawić i dlaczegobez dostępu agentów Wasi ludzie Ticket Agent PM Agentscenariuszy Agent developer CI na mergerequeście Agent recenzent Przegląd lidera Decyzja:scalenie Development Staging Preprod Produkcja Doprecyzowanie Agent QA Agent monitoringu Zgoda na wydanie CI nieprzechodzi poprawkiz review nowetickety błędy odużytkowników CD: promocja ↓bez dostępu agentów Wasi ludzie Ticket Agent PM Agentscenariuszy Agentdeveloper CI na mergerequeście Agentrecenzent Przeglądlidera Decyzja:scalenie Development Staging Preprod Produkcja Doprecyzowanie Agent QA Agentmonitoringu Zgoda nawydanie
agent człowiek system bez dostępu agentów

Agenci pracują w wydzielonej strefie, z ograniczonymi uprawnieniami i pełnym logiem działań. Nie mają dostępu do produkcji. Każdy ticket agent uzupełnia opisem: co zrobił, jak i dlaczego.

Podział pracy

Pełny łańcuch dostarczania

Co w każdym obszarze robią agenci, a czego pilnujemy my. Od backendu po wydanie.

ObszarCo robią agenciCzego pilnujemy my
Backend API, logika, integracje, migracje, testy jednostkowe i integracyjne Architektura, kontrakty, bezpieczeństwo
Frontend Ekrany z biblioteki komponentów, stany, formularze, testy komponentów Zgodność z projektem, dostępność
Testy BDD Agent scenariuszy: scenariusze Given / When / Then ze specyfikacji, testy charakteryzujące, cały zestaw przy każdej zmianie. Agent QA: przypadki brzegowe i nietypowe na środowiskach staging i preprod Jakość scenariuszy, akceptacja przez product ownera, pokrycie ścieżek
Pozostałe testy Jednostkowe, integracyjne, kontraktowe API, całościowe (e2e) w przeglądarce, regresja Strategia testów, bramki jakości, dane testowe
Review Zgodność z ticketem, poprawki drobnych defektów Ostateczna decyzja, zasady review
Wydania Kontrola wydania względem ticketów, testy akceptacyjne na środowiskach staging i preprod, monitoring pipeline’u z raportem co naprawić i dlaczego, pilnowanie merge requestów Promocja między środowiskami, zgoda na wydanie, naprawy na wyższych środowiskach, wycofywanie zmian
Bezpieczeństwo Praca w wydzielonej strefie z ograniczonymi uprawnieniami, każde działanie w logu Dostęp do produkcji tylko dla ludzi i pipeline’u
Proces Przegląd zgłoszeń od użytkowników (ticket albo odpowiedź), ustalanie kolejności zadań, pytania doprecyzowujące, nowe tickety z testów, aktualizacja ticketów (co zrobione, jak i dlaczego), poranny raport Kto i kiedy decyduje

Najpierw testy

Zaczynamy od testów zachowania produktu.

Agent jest tak dobry, jak to, czym sprawdza swoją pracę. Scenariusz Given / When / Then jest jednocześnie kryterium akceptacji, zadaniem dla agenta i testem, który to zadanie weryfikuje.

features/faktury/eksport.feature
Funkcja: Eksport faktur do CSV   Scenariusz: Księgowa eksportuje faktury z wybranego miesiąca    Zakładając że w październiku wystawiono 3 faktury    Gdy księgowa eksportuje faktury z października    Wtedy otrzymuje plik CSV z 3 wierszami    Oraz każdy wiersz zawiera NIP i kwotę brutto
$ behave 1 scenariusz (1 zaliczony) · 4 kroki (4 zaliczone)
01

Scenariusz to kontrakt

Agent implementuje i uruchamia scenariusze. Gdy przechodzą, zmiana idzie do review. Gdy nie, wraca do agenta.

02

Scenariusz to dokumentacja

Zawsze aktualny opis tego, co produkt robi. Nowa osoba w zespole i nowy agent uczą się z tych samych plików.

03

Scenariusz chroni przed regresją

Każda zmiana, czy wprowadził ją człowiek, czy agent, przechodzi przez wszystkie dotychczasowe scenariusze.

Czy Wasz produkt ma takie testy? Jeśli nie, od tego zaczniemy.

Stan testów u WasOd czego zaczynamy
Są scenariusze BDD lub dobre testy funkcjonalne Od razu pipeline na pierwszej klasie ticketów
Są tylko testy jednostkowe ok. 1 tydzień fundamentu BDD dla obszaru pierwszej klasy ticketów
Testów funkcjonalnych nie ma 1-3 tygodnie fundamentu BDD dla najważniejszych ścieżek, częściowo równolegle z budową pipeline’u

Pod spodem pełna piramida: testy jednostkowe, integracyjne, kontraktowe API i całościowe (e2e) w przeglądarce. Ale to scenariusze decydują, czy ticket jest zrobiony.

Gdy agent potrzebuje decyzji

Agent nie zgaduje. Pyta w tickecie i od razu proponuje odpowiedź.

Gdy wymaganie jest niejasne albo jest kilka rozsądnych rozwiązań, agent przenosi ticket do „Do doprecyzowania” i pisze jeden komentarz. Odpowiadacie jednym zdaniem, bez spotkania.

#142 Walidacja NIP w formularzu Do doprecyzowania

agent developer03:40

Problem

Ticket mówi „walidować NIP”. Numer można sprawdzić tylko po formacie albo online w unijnym rejestrze VIES, który bywa niedostępny.

Pytanie

Czy blokować zamówienie, gdy VIES nie odpowiada?

Opcje

  1. A

    Tylko format

    Szybko i nigdy nie blokuje, ale przepuszcza zmyślone numery.

  2. B

    Format od razu, VIES w tle rekomendacja

    Zamówienie przechodzi, a błędny numer oznacza fakturę do sprawdzenia przez księgową.

  3. C

    Blokuj do potwierdzenia w VIES

    Najbezpieczniej, ale zamówienia nie przejdą, gdy VIES nie działa.

Rekomendowana ścieżka

B. Przy C nie przejdzie scenariusz „zamówienie kończy się w mniej niż 3 s”, a B działa tak jak obecne ponawianie webhooka płatności. W międzyczasie pracuję nad pozostałymi scenariuszami tego ticketu.

product owner08:15

B. I wyślij maila do księgowej, gdy faktura zostanie oznaczona.

agent developer08:16

Dodałem scenariusz „Błędny NIP oznacza fakturę i powiadamia księgową”. Wracam do pracy.

01

Agent zatrzymuje się, zamiast zgadywać

Niejasne wymaganie, kilka rozsądnych rozwiązań albo zmiana zachowania produktu oznaczają pytanie, a nie założenie ukryte w kodzie.

02

Jeden komentarz, wszystko do decyzji

Problem w kontekście, jedno konkretne pytanie, dwie lub trzy opcje z konsekwencjami i ścieżka, którą agent rekomenduje, z uzasadnieniem.

03

Odpowiedź od razu trafia do pracy

Agent zamienia decyzję w scenariusz BDD, aktualizuje ticket i wraca do pracy. Decyzja zostaje w historii ticketu, otwarte pytania trafiają do porannego raportu.

Agent QA

Agent QA sam szuka scenariuszy. Także tych, o których nikt nie pomyślał.

To nie jest zwykły tester. Scenariusze głównej ścieżki, jeszcze przed kodem, pisze agent scenariuszy. Agent QA wchodzi po implementacji: czyta specyfikację, kryteria akceptacji i scenariusze z repo, testuje zmiany na środowiskach staging i preprod i celowo szuka przypadków brzegowych i nietypowych. Wasz zespół decyduje, co jest oczekiwanym zachowaniem.

Pipeline agenta QA

  1. 1

    Czyta specyfikację

    Ticket, kryteria akceptacji, makiety, kontrakty API i istniejące scenariusze.

  2. 2

    Sprawdza ścieżkę główną

    Uruchamia scenariusze od agenta scenariuszy na środowiskach staging i preprod, z prawdziwymi integracjami i danymi testowymi.

  3. 3

    Szuka przypadków brzegowych i nietypowych

    Wartości graniczne, puste i błędne dane, uprawnienia, współbieżność, strefy czasowe, awarie integracji.

  4. 4

    Pyta, gdy specyfikacja milczy

    Jeśli specyfikacja nie rozstrzyga, jak ma działać produkt, przypadek trafia do doprecyzowania zamiast do zgadywania.

  5. 5

    Sam zakłada tickety

    Gdy test pokaże błąd w istniejącym kodzie albo lukę w pokryciu, agent zakłada ticket ze scenariuszem odtwarzającym problem. Agent PM go przegląda, nadaje priorytet i przydziela kolejnym agentom.

  6. 6

    Uczy się na Waszych decyzjach

    Zatwierdzone i odrzucone scenariusze trafiają do biblioteki wzorców projektu. Kolejne propozycje są bliżej tego, jak myśli Wasz zespół.

kolejny ticket zaczyna z większą wiedzą

agent QA · eksport faktur do CSV

Ze scenariusza eksportu faktur agent QA wyprowadza przypadki, których nie ma w tickecie:

  • brzegowy Miesiąc bez faktur: plik z samym nagłówkiem zatwierdzony
  • brzegowy Faktura korygująca z ujemną kwotą brutto zatwierdzony
  • nietypowy Faktura z 31.10, 23:30 UTC, a księgowa w strefie Europe/Warsaw do doprecyzowania
  • brzegowy Kontrahent z UE: numer VAT zamiast NIP zatwierdzony
  • nietypowy 20 000 faktur w miesiącu: eksport w tle i link w e-mailu do doprecyzowania
  • brzegowy Użytkownik bez uprawnień do faktur zatwierdzony
  • brzegowy Średnik w nazwie kontrahenta psuje kolumny w CSV błąd → nowy ticket SHS-152
  • brzegowy Faktura bez pozycji odrzucony: już pokryty

8 propozycji · 4 zatwierdzone · 2 do doprecyzowania · 1 nowy ticket · 1 odrzucona

Agent QA nie zastępuje testera w Waszym zespole. Daje mu szerokie pokrycie na start, a człowiek decyduje, które przypadki są ważne dla biznesu.

Uczciwie

Gdzie agenci działają, a gdzie nie

Nie obiecujemy „10x”. Obiecujemy pomiar: co miesiąc raport z metrykami, które łatwo sprawdzić.

Działa dobrze

  • Tickety ze scenariuszami BDD lub jasnymi kryteriami
  • CRUD, integracje API, migracje, testy, dokumentacja
  • Poprawki błędów, które da się odtworzyć
  • Ekrany z istniejącej biblioteki komponentów

Działa słabo

  • Niejasne wymagania typu „zrób, żeby było lepiej”
  • Decyzje architektoniczne i zmiany obejmujące wiele usług
  • Wydajność, współbieżność, kod krytyczny dla bezpieczeństwa
  • Kod bez testów funkcjonalnych, dopóki nie zbudujemy fundamentu BDD

W raporcie miesięcznym

  • pokrycie zachowania scenariuszami BDD i jego przyrost
  • odsetek ticketów scalonych bez przepisywania
  • odsetek ticketów z pytaniem i czas odpowiedzi
  • koszt AI na scalony ticket
  • czas od ticketu do produkcji i liczba wydań
  • odsetek wdrożeń kończących się awarią i czas review

Czego potrzebujemy od Was

  • system zgłoszeń, np. Jira albo Linear
  • repo i CI albo gotowość, żeby CI zbudować w kroku 3
  • środowisko, na którym da się uruchomić testy
  • product owner, który zatwierdza scenariusze
  • jedna osoba decyzyjna, która codziennie odpowiada na pytania agentów

Kontakt

Pierwsza rozmowa. 30 minut.

Powiecie nam, jak dziś dostarczacie, a my powiemy, od czego zacząć i ile to kosztuje.

kontakt@shipsteer.eu

Liczba developerów
Czego dotyczy

Dane z formularza wykorzystujemy tylko do kontaktu w tej sprawie. Strona nie używa ciasteczek śledzących.