Büyük Veriye Giriş

Büyük Veri Nedir?

Büyük veri, geleneksel veri işleme yöntemleriyle yönetilmesi, saklanması ve analiz edilmesi zor olan, çok büyük, hızlı ve çeşitlilik gösteren veri kümeleridir. Günümüzde dijitalleşmenin hız kazanmasıyla, Akıllı cihazlardan IoT sensörlerine, sosyal medya platformlarından kurumsal uygulamalara kadar milyarlarca cihazın sürekli ürettiği veri hacmi üstel olarak artmaktadır. Yapılandırılmış (structured), yarı yapılandırılmış (semi-structured) ve yapılandırılmamış (unstructured) olarak tasnif edilen veri yapılarından özellikle son ikisi analiz açısından zorluk oluşturmaktadır.

Küresel Veri Üretimindeki Artış

Küresel veri üretimi son yıllarda üstel bir hızla artmaya devam etmektedir. IDC’nin Global DataSphere metodolojisine göre – yani her yıl oluşturulan, yakalanan, kopyalanan (replike edilen) ve tüketilen veri hacmini ölçen standart yaklaşıma göre – 2010 yılında küresel veri üretimi yaklaşık 2 zettabayt (ZB) olarak kaydedilmiştir. Bu miktar, 2023’te 120 ZB’ye, 2024’te ise 149 ZB’ye ulaşmıştır. IDC’nin 2024–2028 dönemi için yaptığı en güncel tahminlere göre, 2025 yılı sonunda bu rakamın 181 ZB’ye çıkması ve bileşik yıllık büyüme oranının (CAGR) yaklaşık %23 seviyesinde gerçekleşmesi beklenmektedir. Bu büyümeyi tetikleyen başlıca faktörler arasında nesnelerin interneti (IoT) kaynaklı sensör verileri, yapay zeka destekli içerik üretimi, video akışı ve bulut tabanlı tüketim yer almaktadır. Yalnızca 2023 ve 2024 yıllarında üretilen toplam veri miktarı (yaklaşık 269 ZB), insanlık tarihinde bugüne kadar üretilmiş toplam verinin (500 ZB’yi aşan bir hacim) %50’sinden fazlasını oluşturmaktadır. Replikasyon ve tüketim faktörleri dahil edildiğinde, bu payın %60–70 aralığında olduğu tahmin edilmektedir. Ancak verinin yalnızca %2–10’unun kalıcı olarak saklandığı gerçeği, hem veri yönetiminin zorluklarını hem de sürdürülebilir dijital altyapı ihtiyacını gözler önüne sermektedir.

İnternette 1 Dakikada Üretilen Veri

LocaliQ tarafından Ocak 2025’te yayımlanan verilere göre dakikalar içinde üretilen veri büyüklüğü ve çeşitliliği, dağıtık ve paralel işleme sistemleri gereksinimini ortaya koymaktadır:

Bu ölçekte verinin hızlı işlenmesi, büyük veri mimarilerinin olmazsa olmazıdır.

Büyük Veri Kavramının Teknik Çerçevesi: 5V Modeli

Her ne kadar büyük veri kavramının temelleri 1990’lı yıllardaki veri ambarı (data warehousing) ve erken dönem veri madenciliği çalışmalarına kadar uzansa da, asıl ivme 2000’lerin başında e-ticaret, mobil teknolojiler ve dijitalleşmenin hız kazanmasıyla birlikte yaşanmıştır.

1997 yılında Michael Cox ve David Ellsworth tarafından yayımlanan “Managing Big Data for Scientific Visualization” adlı makalede, büyük veri problemi bilimsel ve mühendislik görselleştirmeleri çerçevesinde ele alınmıştır. Yazarlar, geleneksel iş uygulamalarının aksine, görselleştirme ve süper bilgisayar simülasyonları gibi bilimsel alanlarda büyük veri yönetimi için mevcut çözümlerin yetersiz olduğunu belirtmiştir. Makale, veri yönetimi açısından, etkileşimi optimize etmektense, öncelikli olarak işlenebilir veri setlerinin boyutunun artırılmasına odaklanmanın daha kritik olduğunu savunur. Bu yaklaşım, interaktif olmayan, ancak daha geniş kapsamlı ve derinlemesine analizler sunabilen algoritmaların kullanımını mümkün kılmıştır. Böylece, veri setlerinin büyüklüğü ve karmaşıklığı, daha kapsamlı bilimsel analizlerin yapılabilmesi için temel bir öncelik hâline gelmiştir.

Büyük Veri (Big Data) kavramı, ilk kez 2001 yılında o dönemde Meta Group analisti olan Doug Laney tarafından yayımlanan bir raporda sistematik bir çerçeveye oturtulmuştur. Laney, veri yönetiminde yaşanan ölçeksel dönüşümü açıklamak üzere geliştirdiği 3V modeli (Volume: Hacim, Velocity: Hız, Variety: Çeşitlilik) ile büyük verinin karakteristik zorluklarını tanımlamış ve bu modelin sektörel kabul görmesiyle “Big Data” kavramsal olarak yaygınlık kazanmıştır. Laney’nin yaklaşımı, yalnızca veri miktarındaki artışı değil, bu verilerin hızla ve heterojen biçimlerde üretiliyor olmasının da yönetimsel bir sorun teşkil ettiğini vurgulamıştır.

Bu model:

• Volume ile veri hacmindeki eksponansiyel artışı (örneğin petabayt, zettabayt düzeyleri),
• Velocity ile verinin üretim ve işlenme hızını (örneğin gerçek zamanlı veri akışları, IoT sensör verileri),
• Variety ile farklı formatlardaki veri türlerini (yapılandırılmış, yarı yapılandırılmış ve yapılandırılmamış) ifade etmektedir.

Bu üç boyutlu model, geleneksel veri yönetimi yaklaşımlarının yetersiz kaldığı yeni bir veri paradigmasını tanımlamış ve 2006 yılında Yahoo tarafından geliştirilen Hadoop gibi dağıtık veri işleme teknolojilerinin yükselişine zemin hazırlamıştır.

Zamanla, uygulama senaryolarının karmaşıklığı arttıkça, yalnızca hacim, hız ve çeşitlilik ile açıklanamayacak yeni gereksinimler ortaya çıkmıştır. Bu gelişmeler doğrultusunda, 2010’lu yılların başında, 3V modeli aşağıdaki iki boyutla genişletilmiştir:

• Veracity (Doğruluk / Güvenilirlik): Verinin tutarlılığı, kalitesi ve güvenilirliği ile ilgilenir. Özellikle sosyal medya, kullanıcı katkılı içerikler ve sensör hataları gibi kaynaklardan gelen gürültülü (noisy) veriler bu boyutun önemini ortaya koymuştur.
• Value (Değer): Veriden stratejik olarak anlamlı ve operasyonel olarak kullanılabilir çıktılar (actionable insights) elde edilip edilemediğini sorgular. Veri, yalnızca miktarıyla değil, sağlayabildiği iş değeriyle ölçülmelidir.

Bu iki yeni boyutun dahil edilmesiyle birlikte, 5V modeli, günümüzde endüstri ve akademi tarafından en yaygın kullanılan büyük veri tanımlayıcı çerçeve haline gelmiştir.

Bazı kaynaklar, sektörel veya teknolojik ihtiyaçlara bağlı olarak modele ek boyutlar da önermiştir. Bunlardan bazıları:

• Variability (Değişkenlik): Zaman içinde değişen veri kalıpları ve anlamsal tutarsızlıklar
• Visualization (Görselleştirme): Yüksek hacimli ve karmaşık verilerin anlaşılabilir biçimde sunulması
• Virality (Yayılım Hızı): Özellikle sosyal ağlarda bilginin hızlı yayılması
• Viscosity (Akışkanlık): Veri transferindeki gecikme veya işlem hızı
• Volatility (Geçicilik): Verinin geçerlilik süresi, ömrü ya da güncellik gereksinimi

Bu kavram genişlemeleri, özellikle IoT, yapay zekâ, bulut bilişim ve edge computing gibi alanlardaki gelişmelerle birlikte daha da kritik hâle gelmiştir. Örneğin, IBM, SAS gibi büyük teknoloji firmaları, 5V modelini pazarlama stratejilerinde ve kurumsal çözüm tanımlarında temel çerçeve olarak kullanmaktadır.

Büyük Veri’nin evrimi, yalnızca teknolojik bir ilerlemeyi değil, aynı zamanda veriye atfedilen değerin dönüşümünü temsil etmektedir. Artık veri, yalnızca depolanan bir kaynak değil, karar destek sistemlerinden kişiselleştirilmiş hizmetlere, otomasyondan inovasyona kadar çok katmanlı bir stratejik varlık olarak konumlanmaktadır.

Bugün gelinen noktada 5V modeli, büyük veriyi tanımlamak için yeterli bir temel sunarken, sektöre özgü ihtiyaçlar doğrultusunda bu çerçevenin esnetilmesi ve genişletilmesi olasıdır. Bu durum, büyük verinin statik bir tanım değil, devam eden bir kavramsal evrim olduğunu ortaya koymaktadır.

Büyük Veri Depolama ve İşleme Teknolojileri

Hadoop Ekosistemi

• HDFS (Hadoop Distributed File System): Veriyi bloklar halinde parçalara böler (tipik blok boyutu 128 MB veya 256 MB), dağıtık düğümlerde depolar. Veri çoğaltma (replication factor) ile hata toleransı sağlar.
• MapReduce: Veri işleme modeli olarak, “Map” fonksiyonu ile veriyi parçalara ayırır ve paralel işler, “Reduce” fonksiyonu ile sonuçları birleştirir.
• Yarn: Kaynak yönetimi ve iş zamanlama katmanı.

Alternatif ve Tamamlayıcı Sistemler

• Apache Spark: Bellek içi (in-memory) hesaplama sayesinde MapReduce’a göre çok daha hızlı veri işleme sağlar.
• NoSQL Veritabanları (Cassandra, HBase): Yüksek ölçeklenebilirlik ve esnek veri modeli sunar, özellikle yapılandırılmamış veriler için uygundur.

Sonuç

Büyük veri analitiği, yalnızca veri miktarının değil; aynı zamanda verinin çeşitliliği, akış hızı, doğruluk düzeyi ve oluşturulan değerin de yönetilmesini gerektiren çok katmanlı bir süreçtir. Dakikada milyonlarca veri noktasının üretildiği bir çağda, bu verileri anlamlandırmak ve stratejik karar süreçlerine entegre edebilmek, yüksek performanslı hesaplama altyapıları, dağıtık sistemler ve ölçeklenebilir analitik yaklaşımlar gerektirir. Hadoop, Spark ve NoSQL gibi teknolojiler, bu ihtiyaçlara yanıt verirken; 5V modeli, büyük verinin teknik ve operasyonel dinamiklerini anlamak için temel bir çerçeve sunar. Veri, doğru araçlarla işlendiğinde sadece bir çıktı değil; öngörü, verimlilik ve rekabet avantajına dönüşen stratejik bir kaynaktır. Bu nedenle, kurumların büyük veriyi yalnızca depolamakla kalmayıp, ona değer katacak şekilde analiz etmeyi odağına alması kaçınılmaz bir gereklilik haline gelmiştir.

YAZAR HAKKINDA
Günsel Barış

İstanbul Üniversitesi Türk Dili ve Edebiyatı mezunu olan yazar; yabancı diller, bilgisayar programlama, web tasarımı, veri bilimi, tarih ve psikoloji gibi disiplinler arası alanlara ilgi duymaktadır.