En configurant le partitionnement et le clustering pour votre destination BigQuery, vous pouvez optimiser les performances des requêtes et contrôler les coûts. Le partitionnement et le clustering vous permettent de réduire la quantité de données que BigQuery doit analyser lors de l'exécution d'une requête.
Partitionnement de table
Le partitionnement de table divise votre table en segments appelés partitions, ce qui facilite la gestion et l'interrogation de vos données. Pour partitionner les tables, spécifiez une colonne de partition permettant de les segmenter.
Datastream est compatible avec trois types de partitionnement pour les tables BigQuery :
Partitionnement par date d'ingestion : vous pouvez partitionner une table en fonction de la date à laquelle Datastream ingère les données dans BigQuery. Vous pouvez sélectionner une précision horaire, quotidienne, mensuelle ou annuelle pour le partitionnement par date d'ingestion. La granularité par défaut est "Quotidienne".
Partitionnement par unité de temps : vous pouvez partitionner une table en fonction d'une colonne source d'un type de données que Datastream mappe à l'un des types de données BigQuery suivants :
DATE,DATETIMEouTIMESTAMP. Pour savoir comment Datastream mappe les types de données sources aux types de données BigQuery, consultez Mappages des types de données dans BigQuery.Selon le type de données BigQuery auquel la colonne source est associée, vous pouvez sélectionner l'un des types de précision suivants :
DAY,MONTH,YEAR: pour le type de donnéesDATE.HOUR,DAY,MONTH,YEAR: pour les types de donnéesDATETIMEetTIMESTAMP.
Partitionnement par plage d'entiers : vous pouvez partitionner une table par une colonne source d'un type de données que Datastream mappe ensuite au type de données BigQuery
INTEGER. Vous devez fournir les informations suivantes :- Start : valeur de début de la première plage de partitions (inclusive).
- End : valeur de fin de la dernière plage de partitions (exclusive).