Sudah sekian kalinya twitter merubah fiturnya sehingga para akademia kesulitan untuk mendapatkan data twitter untuk kebutuhan riset, kali ini yang dirubah adalah user yang belum login tidak lagi dapat mengakses keseluruhan halaman twitter dan juga twitter telah mengadaptasi rate limit view tweet sehingga kemungkinan besar kita hanya dapat melihat tweet sebanyak 1000 saja.
Dalam rangka membantu teman-teman terutama yang sedang mengerjakan skripsi atau penelitian, saya telah melakukan update perbaikan pada library yang udah pernah saya buat sebelumnya yg bernama tweet-harvest.
Library ini saya buat dan sudah diperbarui hanya untuk kebutuhan penelitian dan riset, mohon untuk tidak disalahgunakan.
Per 5 Juli 2023, library ini sudah saya coba dan sudah bekerja dengan baik dengan perubahan fitur pada twitter akhir-akhir ini, langsung saja kita bahas bagaimana cara crawl data twitternya.
Untuk memudahkan teman-teman melakukan crawl data, saya sudah membuat project google colab yang didalamnya sudah menggunakan tweet-harvest untuk melakukan crawl datanya, bisa cek disini ya: https://colab.research.google.com/drive/1jQhAGKanGZ290rIaf06705xmhAB3vpD9.
Tonton video youtube ini mengenai penjelasan lebih jelas dan detailnya: https://www.youtube.com/watch?v=OK6b5vvjRzY.