Prefect.io: Narzędzie do Automatyzacji Przepływów Pracy

 Prefect.io: Narzędzie do Automatyzacji Przepływów Pracy 

1. Wprowadzenie 

Prefect.io to platforma do zarządzania przepływami pracy, która umożliwia automatyzację, monitorowanie i zarządzanie procesami ETL (Extract, Transform, Load) oraz innymi złożonymi operacjami. 

2. Kluczowe Funkcje Prefect.io 

Orkiestracja Przepływów Pracy: Automatyzacja zadań i koordynacja ich wykonania. 

Monitorowanie i Raportowanie: Śledzenie statusu zadań w czasie rzeczywistym oraz raportowanie ewentualnych problemów. 

Zarządzanie Błędami: Automatyczne wykrywanie i reagowanie na błędy w procesach. 

Elastyczność: Integracja z wieloma narzędziami i technologiami. 

 

Przykładowy Przepływ Pracy 

 

3. Zalety Prefect.io 

• 
  

• Skalowalność: Możliwość obsługi dużych ilości danych i złożonych procesów. 

• Łatwość Użycia: Intuicyjny interfejs użytkownika oraz możliwość definiowania przepływów pracy w Pythonie. 

• Bezpieczeństwo: Zaawansowane mechanizmy zabezpieczeń i kontroli dostępu. 

• Współpraca: Możliwość pracy zespołowej nad przepływami pracy. 

 

Dodatkowe Funkcje Prefect.io 

1. 
   

2. Task Deployment 

Opis: Łatwe wdrażanie zadań w różnych środowiskach. 

Przykład: 

 

2. Parametryzacja 

3. 
   

Opis: Możliwość definiowania parametrów zadań, co pozwala na dynamiczne dostosowanie przepływów pracy. 

Przykład: 

 

 

Prefect.io umożliwia integrację z repozytoriami kodu źródłowego, takimi jak Bitbucket, co pozwala na automatyzację procesów CI/CD. 

Konfiguracja 

Instalacja Prefect Bitbucket Storage: 

 

 

Retry Mechanism 

Opis: Automatyczne ponawianie zadań w przypadku wystąpienia błędów. 

Przykład: 

 

4. Caching

5.  

Opis: Możliwość przechowywania wyników zadań, co pozwala na zwiększenie wydajności. 

Przykład: 

 

5. Task Mapping 

6. 
   

Opis: Umożliwia dynamiczne mapowanie zadań na różne wejścia, co zwiększa elastyczność i skalowalność przepływów pracy. 

Przykład: 

 

6. Result Handlers 

7. 
   

Opis: Zarządzanie wynikami zadań za pomocą niestandardowych uchwytów wyników. 

Przykład: 

 

 

7. State Handlers 

8. 
   

Opis: Umożliwiają niestandardowe działania w zależności od stanu zadania. 

Przykład: 

 

Dask Integration 

Opis: Umożliwia korzystanie z rozproszonego systemu obliczeniowego Dask do zarządzania dużymi obciążeniami. 

Przykład: 

 

4. Koszt Prefect.io 

W ramach projektu potrzebowalibyśmy AWS EC2 typu m7g.xlarge w regionie Frankfurt wynosi około $0.1632 za godzinę w modelu On-Demand. Instancja ta posiada 4 vCPU oraz 16 GiB pamięci RAM. 

Dodatkowo, istnieją różne opcje oszczędności, takie jak Reserved Instances, które mogą obniżyć koszt do $54.02 miesięcznie przy 3-letnim okresie rezerwacji i płatnościami z góry. Opcje Reserved Instances i Savings Plans mogą oferować znaczne oszczędności w porównaniu do stawek On-Demand​ (Amazon Web Services)​​ (Vantage)​​ (Azure, AWS and GCP Specs and Pricing)​​ (Amazon Web Services)​. 

4. Setup Prefect.io 

Krok 1: Zainstaluj Python i pip 

Upewnij się, że masz zainstalowanego Pythona (w wersji co najmniej 3.6) oraz pip (Python package installer). Możesz pobrać najnowszą wersję Pythona z oficjalnej strony Python. 

Krok 2: Utwórz i aktywuj wirtualne środowisko (opcjonalnie) 

Zalecane jest utworzenie wirtualnego środowiska, aby uniknąć konfliktów między różnymi pakietami Pythona. 

 

Krok 3: Zainstaluj Prefect 

Za pomocą pip zainstaluj Prefect: 

 

Krok 4: Skonfiguruj Prefect 

Po zainstalowaniu Prefect’a, skonfiguruj go. W przypadku lokalnego uruchamiania, najważniejsze jest skonfigurowanie bazy danych backendu: 

 

Krok 5: Uruchom Prefect Server 

Prefect Server jest lokalną wersją Prefect Backend, która umożliwia przechowywanie stanów przepływów, logów i metadanych. Aby uruchomić Prefect Server, użyj polecenia: 

 

To uruchomi wszystkie niezbędne komponenty Prefect Server (Postgres, Hasura GraphQL Engine, Apollo API, UI) jako kontenery Dockerowe. Upewnij się, że masz zainstalowany Docker. 

 

 

Krok 6: Utwórz i uruchom pierwszy przepływ pracy 

Po uruchomieniu Prefect Server, możesz utworzyć swój pierwszy przepływ pracy. Oto prosty przykład: 

 

 

Krok 7: Zarejestruj i uruchom przepływ w Prefect Server 

Jeśli chcesz zarejestrować przepływ w Prefect Server, możesz to zrobić za pomocą: 

 

Następnie uruchom przepływ za pomocą Prefect Agent: 

 

Podsumowanie 

Te kroki pozwolą ci na zainstalowanie i uruchomienie Prefect lokalnie na twoim komputerze. Jeśli napotkasz problemy, Prefect posiada obszerną dokumentację oraz aktywne społeczności wsparcia, które mogą być pomocne. 

 

5.Zarządzanie hasłami   

Naszą propozycją jest użycie Data Vault, który oferuje wiele zaawansowanych funkcji, takich jak dynamiczne zarządzanie hasłami, automatyczne odnawianie i wygasanie haseł, których możesz używać w bardziej skomplikowanych scenariuszach. W celu ograniczenia kosztów zaproponowane poniżej rozwiązanie można skonfigurować na EC2 na której mógłby zostać postawiony Prefect.io. 

Instrukcja konfiguracji HashiCorp Vault z Prefect.io na AWS EC2 

 

Krok 1: Uruchomienie instancji AWS EC2 

Krok 2: Połączenie z instancją EC2 

1. Połącz się z instancją EC2 za pomocą SSH 

 

 

Krok 3: Instalacja HashiCorp Vault 

1. Dodanie klucz GPG: 

 

2. Dodanie repozytorium HashiCorp: 

 

3. Instalacja Vault: 

 

 

4. Uruchomienie Vault w trybie deweloperskim: 

 

 

Krok 4: Konfiguracja Vault 

W trybie deweloperskim Vault uruchomi się na porcie 8200. Ustaw zmienną środowiskową VAULT_ADDR, aby wskazywała na adres uruchomionego Vault: 

 

Krok 5: Instalacja Prefect na instancji EC2 

 

Zainstalacja Prefect i dodatkowy moduł do integracji z Vault: 

 

 

Krok 6:  Przechowywanie tajemnic w Vault 

Przed uruchomieniem powyższego kodu musisz zapisać tajemnice w Vault. Możesz to zrobić za pomocą interfejsu CLI Vault: 

 

Krok 7: Konfiguracja Prefect do używania Vault 

Skonfigurowanie Prefect, aby używał Vault do przechowywania haseł.  

Przykład kodu : 

 

 

Krok 7: Przechowywanie tajemnic w Vault 

Przed uruchomieniem powyższego kodu musisz zapisać tajemnice w Vault. Możesz to zrobić za pomocą interfejsu CLI Vault. 

6. Zarządzanie Schedule’rem w Prefect.io 

Tworzenie Harmonogramu 

Prefect.io umożliwia tworzenie harmonogramów dla przepływów pracy, co pozwala na automatyczne uruchamianie zadań w określonych odstępach czasu. 

 

Rodzaje Harmonogramów 

• IntervalSchedule: Uruchamianie przepływów pracy w stałych odstępach czasu. 

• CronSchedule: Używanie składni cron do definiowania harmonogramów. 

• DateSchedule: Uruchamianie przepływów pracy w określonym dniu i godzinie. 

 

Monitorowanie Harmonogramów 

Prefect Cloud umożliwia monitorowanie harmonogramów przepływów pracy, śledzenie ich statusu oraz zarządzanie nimi z poziomu interfejsu użytkownika. 

6. Monitorowanie Procesów za Pomocą Interfejsu Prefect.io 

Prefect.io oferuje przyjazny dla użytkownika interfejs, który umożliwia łatwe śledzenie i zarządzanie przepływami pracy. Dzięki niemu możesz monitorować status zadań, przeglądać logi, identyfikować błędy i zarządzać harmonogramami. 

Opis: 

Dashboard: Główne miejsce, gdzie można zobaczyć przegląd wszystkich aktywnych przepływów pracy i ich status. 

Flow Runs: Szczegółowa lista uruchomień przepływów pracy wraz z ich stanami. 

Task Runs: Informacje o poszczególnych 

 

7. Integracja z Git 

Prefect.io może również integrować się z Git, co umożliwia śledzenie wersji przepływów pracy i współpracę zespołową. 

Konfiguracja 

Instalacja Prefect Git Storage: 

pip install prefect pip install prefect-git  

Ustawienia Przepływu 

 

Integracja z Kubernetes’em 

Prefect.io może być wdrażany na Kubernetesie, co zapewnia skalowalność i niezawodność wykonywania przepływów pracy. 

Konfiguracja 

Instalacja Prefect Kubernetes: 

 

 

Ustawienia Przepływu: 

 

Podsumowanie 

Prefect.io to potężne narzędzie do zarządzania przepływami pracy, które łatwo integruje się z popularnymi narzędziami deweloperskimi i platformami orkiestracji kontenerów. Dzięki Prefect.io możesz automatyzować swoje procesy, monitorować ich wykonanie i skalować je w zależności od potrzeb.