Rozwiązanie do tworzenia kopii zapasowych dla hurtowni BigQuery Hebe.
Harmonogramowane rozwiązanie do tworzenia kopii zapasowych hurtowni BigQuery.
O projekcie
Hebe potrzebowało bezpiecznego rozwiązania do tworzenia kopii zapasowych swojej hurtowni danych. Zależało im na bezpieczeństwie w razie katastrofalnej awarii i gotowości do odzyskania danych po awarii.
01.
realizacja
2023
02.
zakres
backup
03.
rozwiązanie
Google Cloud
04.
wynik projektu
Nasz klient
Hebe to wyspecjalizowana sieć sklepów z branży zdrowia i urody, posiadająca ponad 300 placówek w Polsce. Marka jest częścią grupy Jeronimo Martins. Jej koncepcja biznesowa opiera się na oferowaniu wysokiej jakości usług w bardzo konkurencyjnych cenach. W 2022 roku firma skonsolidowała podejście omnichannel, wzmacniając integrację między kanałem cyfrowym a fizyczną siecią sklepów. Sklep internetowy Hebe sprzedaje również do Czech i Słowacji.
Usługi
Hebe potrzebowało bezpieczniejszego i dłuższego rozwiązania do tworzenia kopii zapasowych swojej hurtowni danych niż 7-dniowa kopia zapasowa, która jest domyślnie dostępna w BigQuery. Zależało im na bezpieczeństwie w razie katastrofalnej awarii, takiej jak fizyczne zniszczenie centrów danych Google, gotowości do odzyskania danych po awarii, a także na utworzeniu kopii zapasowej nie tylko w innej strefie, ale także w innym regionie.
Automatyczna kopia zapasowa jest wykonywana co 7 dni, bez potrzeby ręcznego uruchamiania. Hebe jest chronione w przypadku katastrofalnej awarii, ale ponieważ kopia zapasowa jest automatycznie usuwana po 30 dniach, rozwiązanie pozostaje ekonomiczne.
Rozwiązanie
Aby automatycznie tworzyć kopie zapasowe danych z BigQuery, wykorzystaliśmy takie rozwiązania chmurowe, jak Cloud Composer z Apache Airflow i Storage Transfer. Wykorzystaliśmy również podział Google Cloud na regiony i strefy, aby bezpiecznie przechowywać dane w różnych lokalizacjach w Europie.
Backupy
Aby przechowywać kopię zapasową i zapewnić możliwość odtworzenia danych z maksymalną przerwą 7 dni, używamy bucketa w innym regionie, z danymi w pliku .parquet. Aby tworzenie kopii zapasowej odbywało się automatycznie, bez potrzeby ręcznego uruchamiania, wykorzystaliśmy Cloud Composer z Apache Airflow do wyeksportowania tabel do bucketa w tym samym regionie, a następnie Storage Transfer do zsynchronizowania go z bucketem w innym regionie.
Efekty
W efekcie kopia zapasowa jest bezpiecznie przechowywana 1500 km od miejsca, w którym znajduje się hurtownia BigQuery Hebe, a Hebe jest chronione w przypadku klęski żywiołowej lub awarii. W przypadku jakichkolwiek problemów z BigQuery istnieje możliwość przywrócenia poprzedniej wersji danych z okresu do 30 dni. Po 30 dniach kopia zapasowa jest automatycznie usuwana, co pomaga utrzymać finansową kontrolę nad rozwiązaniem.