Data

Cara mendapatkan data twitter yang besar (lebih dari 1500)

Published at Tuesday, 17 October 2023

Aku habis modifikasi tweet-harvest. Hasilnya? Sekarang bisa dapetin data twitter yang lebih dari 800 di versi terbarunya: v2.6.8. Apa perubahannya? Sebelumnya tweet-harvest cuma bisa dapetin maksimal 800 tweet karena ada batasan atau rate limit dari Twitter API. Sekarang, aku udah modifikasi algoritmanya jadi bisa dapetin lebih dari 800 tweet.

Apasih sebenarnya tweet-harvest ini? Kalau belum tau, tweet-harvest ini adalah alat buat ngambil/crawl data dari Twitter, jadi kita bisa mendapatkan info yang lebih lengkap tentang topik yang lagi dibicarakan dalam bentuk tweet/thread atau komentar.

Kenapa ga pake snscrape aja? Sesuai yang udah ada di blog sebelumnya, snscrape sudah tidak bisa digunakan lagi (sejauh blog ini ditulis) karena twitter sudah mengubah API dan fitur mereka. Jadi, untuk saat ini, tweet-harvest adalah alat sejauh ini aku tau dan aku buat untuk bantu temen-temen yang ada keperluan untuk crawl data twitter (terutama pelajar yang lagi skripsian).

Penasaran kan gimana cara kerja tweet-harvest ini? Tenang, udah ada video demonstrasinya disini. Oh iya, ada juga demo prakteknya di Google Colab, langsung aja cek disini.

Semoga bermanfaat ya terutama untuk temen-temen yang lagi melaksanakan studinya. Alat ini aku buat tidak untuk di-komersil-kan terutama oleh pihak luar selain maintainer code nya ya, jadi tolong jangan disalahgunakan. Kita harus tetap menghormati privasi dan keamanan pengguna Twitter.

Terima kasih sudah membaca, sampai jumpa di blog berikutnya!