BeautifulSoup — примеры использования
BeautifulSoup является библиотекой Python для парсинга HTML и XML документов. Часто используется для скрапинга веб-страниц. BeautifulSoup позволяет трансформировать сложный HTML-документ в сложное древо различных объектов Python. Это могут быть теги, навигация или комментарии.
Установка BeautifulSoup в Python
Для установки необходимых модулей используется команда pip3.
$ sudo pip3 install lxml
Для начала требуется установить lxml
модуль, который используется в BeautifulSoup.
$ sudo pip3 install bs4
BeautifulSoup устанавливается при помощи использования указанной выше команды.
Пример HTML-кода страницы
В последующих примерах будет использован данный HTML-файл:
<!DOCTYPE html> <html> <head> <title>Header</title> <meta charset="utf-8"> </head> <body> <h2>Operating systems</h2> <ul id="mylist" style="width:150px"> <li>Solaris</li> <li>FreeBSD</li> <li>Debian</li> <li>NetBSD</li> <li>Windows</li> </ul> <p> FreeBSD is an advanced computer operating system used to power modern servers, desktops, and embedded platforms. </p> <p> Debian is a Unix-like computer operating system that is composed entirely of free software. </p> </body> </html>
BeautifulSoup простой пример парсинга HTML
В первом примере будет использован BeautifulSoup модуль для получения трех тегов.
#!/usr/bin/python3 from bs4 import BeautifulSoup with open("index.html", "r") as f: contents = f.read() soup = BeautifulSoup(contents, 'lxml') print(soup.h2) print(soup.head) print(soup.li)
Код в данном примере позволяет вывести HTML-код трех тегов.
from bs4 import BeautifulSoup
Здесь производится импорт класса BeautifulSoup
из модуля bs4
. Таким образом, BeautifulSoup является главным рабочим классом.
with open("index.html", "r") as f: contents = f.read()
Открывается файл index.html
и производится чтение его содержимого при помощи метода read()
.
soup = BeautifulSoup(contents, 'lxml')
Создается объект BeautifulSoup
. Данные передаются конструктору. Вторая опция уточняет объект парсинга.
print(soup.h2) print(soup.head)
Далее выводится HTML-код следующих двух тегов: h2
и head
.
print(soup.li)
В примере много раз используются элементы li
, однако выводится только первый из них.
$ ./simple.py <h2>Operating systems</h2> <head> <title>Header</title> <meta charset="utf-8"/> </head> <li>Solaris</li>
Это результат вывода.
BeautifulSoup теги, атрибуты name и text
Атрибут name
указывает на название тега, а атрибут text
указывает на его содержимое.
#!/usr/bin/python3 from bs4 import BeautifulSoup with open("index.html", "r") as f: contents = f.read() soup = BeautifulSoup(contents, 'lxml') print("HTML: {0}, name: {1}, text: {2}".format(soup.h2, soup.h2.name, soup.h2.text))
Код в примере позволяет вывести HTML-код, название и текст h2
тега.
$ ./tags_names.py HTML: <h2>Operating systems</h2>, name: h2, text: Operating systems
Это результат вывода.
BeautifulSoap перебираем HTML теги
Метод recursiveChildGenerator()
позволяет перебрать содержимое HTML-документа.
#!/usr/bin/python3 from bs4 import BeautifulSoup with open("index.html", "r") as f: contents = f.read() soup = BeautifulSoup(contents, 'lxml') for child in soup.recursiveChildGenerator(): if child.name: print(child.name)
Данный пример позволяет перебрать содержимое HTML-документа и вывести названия всех его тегов.
$ ./traverse_tree.py html head title meta body h2 ul li li li li li p p
Данные теги являются частью рассматриваемого HTML-документа.
BeautifulSoup атрибут children
При помощи атрибута children
можно вывести все дочерние теги.
#!/usr/bin/python3 from bs4 import BeautifulSoup import requests as req resp = req.get("http://www.something.com") soup = BeautifulSoup(resp.text, 'lxml') print(soup.title) print(soup.title.text) print(soup.title.parent)
Данный пример извлекает название рассматриваемой веб-страницы. Здесь также выводится имя ее родителя.
resp = req.get("http://www.something.com") soup = BeautifulSoup(resp.text, 'lxml')
Здесь мы получаем информацию о веб-странице.
print(soup.title) print(soup.title.text) print(soup.title.parent)
Код выше помогает вывести HTML-код заголовка, его текст, а также HTML-код его родителя.
$ ./scraping.py <title>Something.</title> Something. <head><title>Something.</title></head>
Это результат вывода.
BeautifulSoup метод prettify()
При помощи метода prettify()
можно добиться того, чтобы HTML-код выглядел аккуратнее.
#!/usr/bin/python3 from bs4 import BeautifulSoup import requests as req resp = req.get("http://www.something.com") soup = BeautifulSoup(resp.text, 'lxml') print(soup.prettify())
Таким образом, мы оптимизируем HTML-код простой веб-страницы.
$ ./prettify.py <html> <head> <title> Something. </title> </head> <body> Something. </body> </html>
Это результат вывода.
BeautifulSoup метод find(), поиск элементов по id
При помощи метода find()
можно найти элементы страницы, используя различные опорные параметры, id
в том числе.
#!/usr/bin/python3 from bs4 import BeautifulSoup with open("index.html", "r") as f: contents = f.read() soup = BeautifulSoup(contents, 'lxml') #print(soup.find("ul", attrs={ "id" : "mylist"})) print(soup.find("ul", id="mylist"))
Код в примере находит тег ul
, у которого id mylist
. Строка в комментарии является альтернативным способом выполнить то же самое задание.
BeautifulSoup метод find_all() поиск всех тегов в HTML
При помощи метода find_all()
можно найти все элементы, которые соответствуют заданным критериям.
В примере показано, как при помощи метода find()
найти определенный элемент, а затем, используя метод replace_with()
, заменить его содержимое.
BeautifulSoup метод decompose() удаление HTML-тега
Метод decompose()
удаляет определенный тег из структуры документа и уничтожает его.
#!/usr/bin/python3 from bs4 import BeautifulSoup with open("index.html", "r") as f: contents = f.read() soup = BeautifulSoup(contents, 'lxml') ptag2 = soup.select_one("p:nth-of-type(2)") ptag2.decompose() print(soup.body.prettify())
В данном примере показано, как удалить второй элемент p
в документе.
источник python-scripts.com