BS(BeautifulSoup) python içerisinde html sayfaların parçalanmasında çok güzel bir modül, kullanımı basit ve kullanışlı.
Aşağıdaki komut ile kurulabiliyor.
pip3 install beautifulsoup4
from bs4 import BeautifulSoup
import requests
url = "https://dogukanhan.com"
request = requests.get(url).text
soup = BeautifulSoup(request, 'html.parser')
links = soup.findAll("a")
En önemli iki metotu find ve findAll, find metotu sadece bir tane olacağını düşündüğünüz mesala id değeri ile aradığınız bir htmml element için kullanılıyor.
Find metotları ilk olarak tag ismini alıyor daha sonrada bir dizi içerisinde elemente ait diğer özellikleri id veya class ismi girerek aratabilirsiniz. Find metotları zincirli şekilde çalışabiliyor ikinci find komutu elementin çocuklarında arama yapıyor.
soup.find('div', {"class": "footer"}).find("span").text