Scrape data Tokopedia
Haloo.... kali ini saya akan membahas tentang scrape data tokopedia
Kalian bisa membuat tokped.py, Copykan script berikut pada file python baru yang telah kalian buat, pastikan indentasinya sudah benar agar tidak terjadi error dikarenakan python sangat sensitif terhadap indentasi
import requests
import json
import os
from bs4 import BeautifulSoup as bs
class tokopedia():
def __init__(self, namatoko):
self.tokourl = 'https://tokopedia.com/'+namatoko
self.namatoko = namatoko
self.headerbrowser = {
'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64; rv:74.0) Gecko/20100101 Firefox/74.0'}
print(self.tokourl)
self.getid()
def getid(self):
try:
req = requests.post(
self.tokourl, headers=self.headerbrowser, timeout=3.000)
print(req.status_code)
if req.status_code == 200:
print(req)
sup = bs(req.text, 'html.parser')
for i in sup.find_all('meta', attrs={'name': 'branch:deeplink:$android_deeplink_path'}):
self.idToko = i.get('content')[5:]
print('id Toko : '+self.idToko)
self.scrapJson()
else:
print('Toko Tidak ditemukan')
except:
print('Toko tidak valid')
def scrapJson(self):
urlJson = 'https://ace.tokopedia.com/search/product/v3?shop_id=
{}&rows=80&start=0&full_domain=www.tokopedia.com&scheme=https&device=desktop&source=shop_product'.format(
self.idToko)
req = requests.get(urlJson, headers=self.headerbrowser)
self.hasilReq = req.json()
if not os.path.isdir(self.namatoko):
os.mkdir(self.namatoko)
with open('{}/{}_[detail].json'.format(self.namatoko, self.namatoko),
'w') as fileW:
json.dump(self.hasilReq, fileW)
self.showData()
def showData(self):
self.jumlahProduk = len(self.hasilReq['data']['products'])
self.fullProduk = []
print('Jumlah Produk Yang dijual : '+str(self.jumlahProduk))
for num, i in enumerate(self.hasilReq['data']['products']):
print('''{}. {}
Nama : {}
harga : {}
url : {}
image : {}
catagory : {}
'''.format(num+1, '-'*40, i['name'], i['price'], i['url'], i['image_url'],
i['category_name']))
self.fullProduk += [{'name': i['name'], 'harga':i['price'],
'link':i['url'], 'image':i['image_url'],
'category':i['category_name']}]
self.saveProduk()
def saveProduk(self):
with open('{}/{}_[produk].json'.format(self.namatoko, self.namatoko),
'w') as fileW:
json.dump(self.fullProduk, fileW)
inputLink = input('Nama Toko : https://tokopedia.com/')
actionToko = tokopedia(inputLink)
Disini kita juga mengimport data json yang ada di Tokopedia seperti berikut:
'https://ace.tokopedia.com/search/product/v3?shop_id={}&rows=80&start=0&full_domain
=www.tokopedia.com&scheme=https&device=desktop&source=shop_product'
setelah sript selesai dibuat anda dapat mencari salah satu toko di tokopedia yang ingin diambil datanya misal disini saya ingin mencari grosir supermarket
kemudian run kode pyton copykan nama tokonya
Setelah itu klik enter kemudian akan keluar output data jsonnya.
Komentar
Posting Komentar