TP2 - IAM & S3

4 - S3 Security & Encryption

By default : all new created bucket are private

Setup access control to our buckets using :

• Bucket Policies
• Access Control Lists

Encryption is achieved :

• in transit by : SSL/TLS

• at rest (server side) by :

  • S3 managed Key : SS3-S3
  • AWS key Management Service, Mannaged Keys : SS2-KMS
  • Server Side Encryption with customer provided keys : SSE-C

8 - Transfer Acceleration

Definition

Amazon S3 Transfer Acceleration permet des transferts de fichiers rapides, faciles et sûrs sur de longues distances entre votre client et un seau S3. Transfer Acceleration tire parti des sites périphériques d'Amazon CloudFront, répartis dans le monde entier. Lorsque les données arrivent à un emplacement périphérique, elles sont acheminées vers Amazon S3 via un chemin de réseau optimisé.

Why Use Amazon S3 Transfer Acceleration?

You might want to use Transfer Acceleration on a bucket for various reasons, including the following:

• You have customers that upload to a centralized bucket from all over the world.
• You transfer gigabytes to terabytes of data on a regular basis across continents.
• You are unable to utilize all of your available bandwidth over the Internet when uploading to Amazon S3.

9 - CloudFront OverView

Réseau de diffusion de contenu (CDN) rapide fortement sécurisé et programmable https://aws.amazon.com/fr/cloudfront/

definition

CloudFront : Content Delivery Network (CDN), délivrant des pages web et autres contenus à des utilisateurs fonction de sa location, de l'origine de sa webpage et du serveur qu'il interroge

Amazon CloudFront est un réseau rapide de diffusion de contenu (CDN) qui distribue en toute sécurité des données, des vidéos, des applications et des API à vos utilisateurs, avec une faible latence et des vitesses de transfert élevées, le tout dans un environnement convivial pour les développeurs. CloudFront est intégré à AWS, deux emplacements physiques directement connectés à l'infrastructure mondiale AWS, ainsi qu’à d’autres services AWS.

key terminology

• web distribution : typically used for website
• RTMP : Used for media streaming

to remember

• Edge Location : location where the content is cached (separated to an AWS Region/AZ)

  • not only read-only (<e cant put an object on to them)
  • they are cached for a given time : TTL (Time To Live)
  • you can clear cached, but you will be charged
• Origin : origin of all files that the CDN distribut (files : S3 bucket, EC2 instance, Elastic Load Balanced, Route53 )
• Distribution :This is the name given the CDN (collection of edge location)
• Web distribution : typically used for websites

11 - Snowball

Transport de données à l'échelle du pétaoctet avec capacités de stockage et calcul intégrées https://aws.amazon.com/fr/snowball/

• AWS Snowball, qui appartient à la gamme AWS Snow est un appareil de calcul à la périphérie, de migration de données et de stockage à la périphérie disponible dans deux modèles.
• Snowball prend en charge des types d'instances Amazon EC2 spécifiques et des fonctions AWS Lambda, de sorte que vous pouvez développer et tester des applications dans le cloud AWS, puis les déployer sur des appareils situés à distance pour collecter, prétraiter et renvoyer les données à AWS.

definition

patabyte-scale data transport solution to and from AWS server Snowball adress common challenges with :

• network cost,
• long transfer times
• security concerns

Make easy to transfert to the cloud (import export to S3)

when to use it ?

• petite bande passante mais beaucoup de donnée
• Les cas d'utilisation courants incluent la migration de données, le transport de données, la collecte d'images, la capture des flux de capteurs IoT et le Machine Learning.

13 - Storage Gateway

Un stockage cloud hybride avec mise en cache locale https://aws.amazon.com/fr/storagegateway/?whats-new-cards.sort-by=item.additionalFields.postDateTime&whats-new-cards.sort-order=desc

definition

AWS Storage Gateway est un service de stockage en cloud hybride qui vous donne un accès sur site à un stockage cloud pratiquement illimité. Les clients utilisent Storage Gateway pour :

• simplifier la gestion du stockage
• et réduire les coûts pour les principaux cas d'utilisation du stockage en cloud hybride.

Ceux-ci incluent :

• le déplacement des sauvegardes sur bande vers le cloud,
• la réduction du stockage sur site avec des partages de fichiers sauvegardés dans le cloud,
• la fourniture d'un accès à faible latence aux données dans AWS pour les applications sur site,
• divers cas d'utilisation pour la migration, l'archivage, le traitement et la reprise après sinistre.

3 différents types de Storage gateway :

1. File gateway (NFS & SMB) : For flatfiles, stored directly on S3
2. Volume Gateway (iSCSI)
3. Stored Volumes : Entire Datasets is stored on site and is asynchonously backed up to s3
4. Cached Volumes : Entire Datasets is stored on S3 and the most frequently accessed data is cached on site
5. Tape Gateway (VTL)

example

1. File gateway (NFS & SMB) :

2. Volume Gateway (iSCSI)

   1. Stored Volumes :
   2. Cached Volumes :
3. Tape Gateway (VTL) :

when use it ?

Pour prendre en charge ces cas d'utilisation, le service fournit trois types de passerelles :

1. passerelle de bande,
2. passerelle de fichier
3. et passerelle de volume, qui connectent de manière transparente les applications locales au stockage cloud, mettant en cache les données localement pour un accès à faible latence.

Vos applications se connectent au service via une passerelle matérielle ou virtuelle et avec des protocoles de stockage standard tels que NFS, SMB et iSCSI. La passerelle se connecte aux services de stockage AWS comme Amazon S3, Amazon S3 Glacier, Amazon S3 Glacier Deep Archive, Amazon EBS et AWS Backup pour permettre de stocker des fichiers, des volumes, des instantanés et des bandes virtuelles dans AWS. Le service inclut également un mécanisme de transfert de données hautement optimisé, avec fonction de gestion de la bande passante, synonyme de résilience de réseau automatisée et de transfert de données efficace.

14- Athena vs Macie

Athena

• Is an interactive query services
• allows you to query data located on S3 using standard SQL
• Severless
• Commonly used to analyse log data store in s3

Macie

PII : Personnally Identifiable Information NPL : Natural Langage Processing

• use AI to analyse data in S3 and helps identify PII
• can also be used to analayse cloudTrail logs for suspicious API activity
• includes dashborads, reports and alerting
• great for PCI-DSS compilance and preventing ID thefs