Google Cloud Platform (GCP) üzerinde yer alan BigQuery, büyük veri analizi ve depolama ihtiyaçlarınıza hızlı ve etkili bir çözüm sunar. Petabayt boyutundaki verileri kolayca analiz etmek isteyen şirketler ve geliştiriciler için ideal bir platformdur. Bu makalede, BigQuery’nin temel özellikleri, kullanım adımları ve avantajlarını detaylandıracağım.
BigQuery Nedir ve Neden Kullanılır?
BigQuery, Google Cloud Platform’un tam yönetilen bir veri ambarı hizmetidir. SQL tabanlı sorguları destekleyerek, büyük veri setlerini çok hızlı bir şekilde analiz etmenizi sağlar.
BigQuery’nin Temel Özellikleri:
- Yönetim Gerektirmez: Altyapı yönetimi ihtiyacınızı ortadan kaldırır.
- Performans Odaklı: Yüksek hacimli verilerde dahi hızlı sorgu performansı sunar.
- SQL Desteği: Geleneksel SQL ile kolay sorgulama.
- Gerçek Zamanlı Analiz: Streaming veri akışı ile anında analiz yapabilirsiniz.
BigQuery’nin Öne Çıkan Avantajları
- Hızlı ve Ölçeklenebilir Analiz: Yüksek hacimli verileri saniyeler içinde analiz etme.
- Kolay Kullanım: SQL desteği sayesinde minimal öğrenme eğrisi.
- Gerçek Zamanlı Veri Akışı: Akış verilerini anında işleyebilme.
- Google Entegrasyonu: Cloud Storage, Analytics gibi Google hizmetleriyle kusursuz çalışma.
- Maliyet Verimliliği: Kullanım bazlı fiyatlandırma ile ödemeniz gereken kadar ödersiniz.
BigQuery’nin Maliyet Yapısı
BigQuery, esnek ve şeffaf bir fiyatlandırma modeli sunar. Maliyetler iki ana bileşene ayrılır:
- Depolama Maliyeti:
- BigQuery’de depolanan veriler için aylık olarak GB başına ücretlendirme yapılır.
- “Active Storage” (aktif depolama) ve “Long-term Storage” (uzun dönem depolama) olarak ikiye ayrılır. Uzun dönem depolamada, veriler 90 günün üzerinde değiştirilmezse maliyet daha düşük olur.
- Sorgu Maliyeti:
- Her sorguda okunan veri miktarına bağlıdır.
- 1 TB sorgu başına belli bir ücretlendirme yapılır. Ancak “Free Tier” kapsamında aylık belirli bir oranda sorgu ücretsizdir (2025 itibariyle 1 TB).
- Maliyet Avantajı:
- Parti sorguları ve belirli veri alanlarını sorgulama gibi optimize yaklaşımlar maliyetleri azaltabilir.
BigQuery Kullanım Adımları
1. Proje ve API Aktifleştirme
BigQuery’yi kullanabilmek için önce bir GCP projesi oluşturmanız ve BigQuery API’sini etkinleştirmeniz gereklidir.
- Google Cloud Console’a giriş yapın.
- Yeni bir proje oluşturun veya mevcut bir projeyi kullanın.
- BigQuery API’sini etkinleştirin.
2. BigQuery Arayüzlerine Erişim
BigQuery’ye erişmenin farklı yolları bulunur:
- Web Konsolu: Google Cloud Console’un BigQuery sekmesini kullanabilirsiniz.
- Komut Satırı Aracı (bq): CLI ile sorguları çalıştırın.
- Programlama Dilleri: Python, Java, veya diğer dillerdeki kütüphaneleri entegre edin.
3. Veri Seti ve Tablo Oluşturma
BigQuery’de veriler, veri setleri ve tablolar halinde organize edilir.
- Veri Seti Oluşturma:
- BigQuery sekmesinde “Create Dataset” butonuna tıklayın.
- Veri seti adı ve bölge ayarını yapın.
- Tablo Eklemek:
- Veri seti altında “Create Table” seçeneğini kullanarak kaynak dosyanızı (CSV, JSON, vb.) seçin.
- Tablo adı ve şemayı tanımlayın.
4. SQL Sorgularıyla Veri Analizi
BigQuery’nin SQL desteği, karmaşık veri analizlerini kolaylaştırır.
Örnek Sorgu:
SELECT product_name, SUM(sales) AS total_sales
FROM `proje_adi.veri_seti_adi.tablo_adi`
WHERE region = 'tr'
GROUP BY product_name
ORDER BY total_sales DESC;5. Veri Yükleme Yöntemleri
BigQuery’ye veri yüklemek için çeşitli yöntemler mevcuttur:
- Manuel Yükleme: Cloud Console üzerinden CSV veya JSON dosyaları yükleyin.
- Google Cloud Storage: Depolanan verilerinizi kolayca aktarın.
- Streaming API: Gerçek zamanlı veri akışı yükleme.
6. Raporlama ve Görselleştirme
BigQuery ile entegre çalışan raporlama aracı Looker Studio (eski adıyla Data Studio) sayesinde çekici ve anlamlı raporlar oluşturabilirsiniz.
Not: Her ne kadar kolay ve eğlenceli görünse de onprem veritabanı çeşitindeki gibi sonsuz sorgu çalıştırmayın. Çalıştıracağınız sorguyu düşünerek planlayın. Her sorgu başına bir maaliyet olarak değerlendirin.
