n8n ile Veri Otomasyonunda Ustalaşın: Kimsenin Size Söylemediği 3 Etkili Taktik

Alper AKBAS
14 Oca
4 dakikada okunur

Kodsuz veri tabanı: API ile Veri Çekip Google Sheets'e Yazmak

Video'ya ulaşmak için burayı tıklayın.
Video'da geçen linklere ulaşmak için burayı tıklayın.
Oluşturduğumuz workflow'un json dosyasını indirmek için burayı tıklayın.

n8n ile Veri Otomasyonunda Ustalaşın: Kimsenin Size Söylemediği 3 Etkili Taktik

Veri otomasyonu dünyasına adım attığınızda, parlak fikirleriniz sık sık somut engellerle karşılaşabilir. API'lar, otomasyon aracınızı "robot" olarak algılayıp sizi engelleyebilir. Gelen veriler, iç içe geçmiş karmaşık yapılar yüzünden istediğiniz formata bir türlü uymayabilir. Ya da her küçük değişiklikte API'ları tekrar tekrar çağırmak, hem zamanınızı hem de bütçenizi tüketebilir. Bu zorluklar, birçok otomasyon projesinin daha başlamadan sona ermesine neden olur.

Bu yazıda, bu yaygın sorunları çözmenize yardımcı olacak "n8n 101" serisinden damıtılmış üç güçlü ve pratik taktiği ele alacağız. Bu teknikler sayesinde, otomasyon projelerinizdeki en inatçı engelleri bile kolayca aşabileceksiniz.

1. Dijital Bir Bukalemun Olun: User-Agent ile Web Sitelerini Sizin Bir İnsan Olduğunuza İnandırın

• Problem: Bir web sitesinden veya API'dan HTTP Request nodu ile veri çekmeye çalıştığınızda, isteğinizin reddedildiğini görebilirsiniz. Bunun sebebi, bazı sunucuların n8n gibi otomasyon platformlarından gelen istekleri otomatik olarak "robotik" olarak tanımlayıp veri kazımayı (scraping) önlemek amacıyla engellemesidir. Bu, veri toplama sürecindeki en temel engellerden biridir.

• Çözüm: Bu engeli aşmanın en basit yolu, HTTP Request nodunun Headers bölümüne bir User-Agent bilgisi eklemektir. User-Agent, sunucuya isteği gönderen istemcinin (tarayıcı, uygulama vb.) kimliğini bildiren bir başlıktır. Buraya standart bir web tarayıcısına (örneğin, Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36 gibi Windows üzerinde çalışan bir Chrome tarayıcısına) ait bir User-Agent dizesi ekleyerek, n8n'in gönderdiği isteği sıradan bir kullanıcı tarafından yapılmış gibi gösterebilirsiniz. Bu işlem, sunucuyu isteğin bir otomasyon aracından değil, gerçek bir insandan geldiğine "inandırır".

• Önemi: Bu basit ama son derece etkili teknik, veri kazıma ve API entegrasyonu projelerinde karşılaşılan erişim engellerini ortadan kaldırır. Projenizin daha ilk adımda başarısız olmasını engelleyen, kritik öneme sahip bir adımdır.

n8n.io gibi platformların robotik olduğunu anlayan web siteleri, veri kazımayı (scraping) engellemek için erişimi kısıtlar. Bunun önüne geçmenin yolu, isteğinize bir 'User-Agent' başlığı eklemektir. Bu sayede sunucuya dersiniz ki, 'Ben bir robot değilim, Windows üzerinde çalışan bir Google Chrome gibi sıradan bir tarayıcıyım' ve böylece karşı tarafı yanıltırsınız.

2. Set Nodu ile Karmaşık JSON Yapılarını Saniyeler İçinde Düzleştirin

• Problem: API'lardan gelen veriler nadiren temiz ve düzenli bir tablo formatındadır. Genellikle, Google Sheets gibi satır ve sütunlardan oluşan yapılara doğrudan aktarılamayan iç içe geçmiş (nested) JSON objeleri içerirler. Örneğin, kaynak verideki { "rate": 3.9, "count": 120 } şeklindeki bir rating objesini düşünün. Bu yapıyı doğrudan bir "rating" sütununa yazmak, "rate" ve "count" değerlerini ayrı sütunlarda kullanmanızı engeller. Gerçek dünya verileri neredeyse her zaman bu şekilde karmaşık gelir.

• Çözüm: Bu sorunu çözmeden önce, özellikle GitHub gibi kaynaklardan JSON dosyası çekerken karşılaşabileceğiniz bir ek soruna değinelim: n8n, bazen dosyayı metin (text) olarak algılayabilir. Böyle bir durumda, HTTP Request nodunun Options sekmesine gidip Response Format ayarını JSON olarak manuel belirlemeniz, verinin doğru şekilde ayrıştırılmasını sağlar.

Bu ön hazırlıktan sonra, veri yapısını düzenleme işlemine geçebiliriz. n8n'in en güçlü nodlarından biri olan Set (eski adıyla Edit Fields) bu sorunu zarif bir şekilde çözer. Bu işlem, teknik olarak veriyi "düzleştirme" (flattening) olarak bilinir ve veriyi tablosal sistemler için uygun hale getirir. Set nodu ile: 1. rate adında yeni bir alan oluşturun ve değerini, iç içe geçmiş yapıdan {{ $json.rating.rate }} gibi bir ifadeyle çekin. 2. count adında ikinci bir alan oluşturun ve değerini {{ $json.rating.count }} ifadesiyle alın. 3. Artık bu iki değeri ayrı alanlar olarak elde ettiğinize göre, orijinal ve gereksiz hale gelen rating objesini veri setinden kaldırabilirsiniz. Bunu, nodun ayarlarından "Tümünü Dahil Et, Şunlar Hariç" (All Except) seçeneğini kullanarak ve rating alanını hariç tutarak kolayca yapabilirsiniz.

• Önemi: Bu teknik, size hemen hemen her API'dan gelen karmaşık ve yapılandırılmamış veriyi işlenebilir, temiz ve kullanılabilir bir formata dönüştürme gücü verir. Veri hazırlama sürecini otomatikleştirerek otomasyon projelerinizde esnekliğinizi ve başarı oranınızı büyük ölçüde artırır.

3. Zaman ve Maliyetten Tasarruf Edin: Geliştirme Sürecini Hızlandıran 'Veri Sabitleme' Tekniği

• Problem: Bir otomasyon akışı geliştirirken, akışın devamındaki nodlarda yapacağınız her değişiklik veya test için başlangıçtaki HTTP Request nodunu tekrar tekrar çalıştırmak zorunda kalırsınız. Bu durum üç temel soruna yol açar:

◦ Maliyet: Eğer ücretli bir API kullanıyorsanız, her test çalıştırması faturanıza ek bir maliyet olarak yansır.

◦ Limitler: Çoğu API, belirli bir zaman diliminde yapabileceğiniz istek sayısını sınırlar (rate limit). Sürekli test yapmak, bu limitleri hızla tüketerek geçici olarak engellenmenize neden olabilir.

◦ Zaman: Her testte API'dan yanıt gelmesini beklemek, geliştirme sürecinizi yavaşlatır ve verimliliğinizi düşürür.

• Çözüm: n8n, bu sorunu "pin data" (veriyi sabitleme) özelliğiyle çözer. HTTP Request nodunu bir kez başarılı bir şekilde çalıştırdıktan sonra, HTTP Request nodunun çıktı penceresindeki (Output) veri setinin üzerinde beliren raptiye (pin) ikonuna tıklayabilirsiniz. Bu işlem, o anki veri çıktısını geçici olarak n8n'in hafızasına sabitler. Artık akışın geri kalanında yapacağınız tüm testler, API'a yeniden istek göndermek yerine bu sabitlenmiş veriyi kullanır.

• Önemi: Veri sabitleme, basit bir kolaylıktan çok daha fazlasıdır. Verimli, hızlı ve maliyet-etkin bir otomasyon geliştirme süreci için vazgeçilmez bir "altın kuraldır". Gereksiz API çağrılarını ortadan kaldırarak hem bütçenizi hem de zamanınızı korur.

Akışınızı geliştirirken, kullandığınız URL ücretli veya limitleri olan bir API olabilirdi. Workflow içinde her deneme yaptığınızda API'ı tekrar tekrar çağırmanıza gerek yok. Test aşamasında, ilk başarılı isteğin çıktısını sabitleyin. Bu sayede, aynı 20 veriyle çalışarak hem gereksiz istek yapmaktan kurtulur hem de limitlerinizi ve bütçenizi korursunuz.

Sonuç

Bu yazıda ele aldığımız üç taktik — User-Agent ile kimliğinizi gizlemek, Set nodu ile veriyi yeniden şekillendirmek ve "Pin Data" ile verimli testler yapmak — basit görünebilir, ancak bir otomasyon projesinin kaderini belirleyebilirler. Bu temel prensipleri benimsemek, sizi deneme-yanılma döngülerinden kurtararak, otomasyonlarınızı birer sanat eseri gibi hassasiyetle inşa etmenizi sağlar.

Bu temel ancak güçlü taktikleri öğrendiğinize göre, otomasyon projelerinizde daha önce aşılmaz görünen hangi engelleri artık kolayca aşabilirsiniz?