Курс Python → Парсинг веб-страниц с Beautiful Soup

Веб-парсинг — это процесс извлечения данных с веб-страниц с целью их анализа или использования в других приложениях. Для этой задачи существует множество библиотек на Python, одними из самых популярных являются Beautiful Soup и Scrapy.

Beautiful Soup — это библиотека, которая позволяет удобно парсить HTML и XML документы. Она предоставляет простой интерфейс для навигации по дереву HTML и извлечения нужных данных. Например, с помощью Beautiful Soup можно легко найти все ссылки на странице или извлечь текст из определенных тегов.

Scrapy — это более мощный инструмент для веб-парсинга, который позволяет создавать полноценные веб-пауки для автоматического сбора данных с нескольких страниц или сайтов. С его помощью можно настраивать правила извлечения данных, обходить различные ограничения и сохранять результаты в нужном формате.

Давайте рассмотрим пример использования Beautiful Soup для получения значения валюты по сравнению с долларом США. Допустим, у нас есть HTML страница с курсами валют, и нам нужно извлечь значение валюты по отношению к доллару. Мы можем использовать Beautiful Soup для поиска нужной информации в HTML коде и извлечения ее. Пример кода может выглядеть следующим образом:

from bs4 import BeautifulSoup
import requests

url = 'https://example.com/currency'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

currency_value = soup.find('span', {'class': 'currency-value'}).text
print(currency_value)

В данном примере мы отправляем GET запрос на страницу с курсами валют, загружаем HTML код, создаем объект Beautiful Soup и используем метод find для поиска элемента с определенным классом. Затем мы извлекаем текст из этого элемента и выводим его на экран. Таким образом, мы можем легко получить нужные данные с веб-страницы с помощью Python и Beautiful Soup.

Твои коллеги будут рады, поделись в

Автор урока

Дмитрий Комаровский
Дмитрий Комаровский

Автоматизация процессов
в КраснодарБанки.ру

Другие уроки курса "Python"

  1. Анонимные функции в Python
  2. Модуль os в Python: работа с файлами
  3. Установка и использование emoji
  4. Объединение Python и Shell
  5. Функции all и any в Python
  6. Фильтрация данных в Python.
  7. Работа с срезами в Python
  8. Анализ текста на русском языке с помощью Pymystem3
  9. Параллельные вычисления в Python
  10. Работа с модулем os в Python
  11. Логирование в Python
  12. Вывод переменной и строки в Python
  13. Декораторы в Python
  14. Установка максимального количества цифр
  15. Реверс строки и списка в Python.
  16. Запуск внешнего кода в Jupyter
  17. Получение текущего времени в Python
  18. Работа с кортежами в Python
  19. Решение переменной Шредингера
  20. Списковые включения в Python
  21. Принцип одной функции
  22. Объединение списков в строку
  23. Поиск простых чисел
  24. Получение ID текущего процесса
  25. Атрибуты класса и экземпляра
  26. Работа с NumPy массивами
  27. 9 уловок для чистого кода
  28. Тестирование модели в PyTorch
  29. Выбор редактора кода.
  30. Объединение списков с помощью zip
  31. Расчет времени выполнения программы
  32. Стать Python-разработчиком
  33. Запуск Python из интерпретатора
  34. Функция zip() в Python
  35. Генераторные функции в Python
  36. Ускоренный импорт библиотек
  37. Форматирование чисел в Python
  38. Метод init в Python
  39. Нахождение хеша для бесконечности и NaN в Python
  40. Python: отсутствие точек с запятыми
  41. Форматирование строк в Python
  42. Работа с SQLite в Python
  43. Основные функции и модули Python
  44. Бесконечные списки в Python
  45. Избегайте двойного подчеркивания
  46. Удаление специальных символов

Marketello читают маркетологи из крутых компаний