Google introduceert continue query’s en cross-regionale federated query’s in BigQuery

Google heeft een reeks krachtige verbeteringen aangekondigd voor BigQuery, waarmee het platform zich verder ontwikkelt tot een volwaardige real-time data-analyse- en verwerkingstool. De belangrijkste updates zijn de algemene beschikbaarheid van continue query’s en een preview van cross-regionale federated query’s met Google Spanner.

Continue query’s nu algemeen beschikbaar

De introductie van continue query’s betekent dat gebruikers nu SQL-query’s kunnen opstellen die voortdurend blijven draaien. Deze query’s analyseren binnenkomende data in real-time, voeren bewerkingen uit en kunnen direct machine learning-inferenties toepassen terwijl data binnenkomt.

De uitvoer van een continue query kan worden verwerkt op drie manieren:

  • Ingestie in een BigQuery-tabel
  • Export naar Pub/Sub
  • Export naar Bigtable

Data-input wordt ondersteund via meerdere kanalen, zoals de BigQuery Storage Write API, de tabledata.insertAll methode, batch loads en INSERT-commando’s. Voor het bewaken van de prestaties van deze query’s kunnen gebruikers een eigen job ID-prefix instellen en Cloud Monitoring gebruiken voor metrics. Daarnaast past BigQuery automatisch de benodigde rekenkracht aan via slot autoscaling, waardoor efficiëntie en schaalbaarheid gewaarborgd blijven.

Toepassingen van continue query’s

Google benadrukt diverse scenario’s waarin continue query’s hun meerwaarde bewijzen:

  • Gepersonaliseerde interactie met klanten: Door generatieve AI te combineren met real-time data kunnen organisaties gepersonaliseerde communicatie opzetten op het moment van interactie.
  • Realtime beveiligingsdetectie: Continue query’s maken het mogelijk om anomalieën en dreigingen direct te identificeren en te rapporteren, cruciaal voor security operations centers.
  • Gebeurtenisgestuurde workflows: Door integratie met Pub/Sub kunnen downstream applicaties automatisch geactiveerd worden bij binnenkomst van bepaalde data.
  • Dataverrijking en ML-inferentie: Bedrijven kunnen realtime transformaties uitvoeren of entiteiten extraheren met behulp van ingebouwde SQL-functies of machine learning-modellen.
  • Realtime reverse ETL: Organisaties kunnen hun inzichten direct doorsturen naar andere systemen die geoptimaliseerd zijn voor lage latentie, zoals applicatiebackends of dashboards.

Deze functies positioneren BigQuery nadrukkelijk als een centrale motor voor event-driven architecturen binnen datagedreven organisaties.

Cross-regionale federated query’s met Spanner

Naast de continue query’s lanceert Google ook een preview van cross-regionale federated query’s vanuit BigQuery naar Cloud Spanner. Deze nieuwe functionaliteit stelt gebruikers in staat om Spanner-databases in andere regio’s te bevragen, zonder dat data eerst fysiek hoeft te worden verplaatst.

Gedurende de previewfase brengt Google geen netwerkkosten in rekening voor deze query’s. Dit maakt het een toegankelijke manier om de mogelijkheden te testen voor multi-regionale data-analyse over Google Cloud-services heen.