Курс Python → Удаление дубликатов в pandas

Для удаления дублирующихся данных в Python можно воспользоваться методом drop_duplicates() из библиотеки pandas. Этот метод позволяет удалить строки с дублирующимися значениями в указанных столбцах. Например, если у вас есть DataFrame df и вы хотите удалить дубликаты в столбце ‘name’, то код будет выглядеть следующим образом:


df.drop_duplicates(subset=['name'], keep='first', inplace=True)

В данном примере мы указали столбец ‘name’ как ключ для поиска дубликатов. Аргумент keep=’first’ означает, что будет оставлен первый встреченный дубликат, а остальные будут удалены. Если вы хотите сохранить последний дубликат, замените ‘first’ на ‘last’.

Если вы хотите удалить дубликаты по всем столбцам, то просто укажите аргумент subset=None:


df.drop_duplicates(subset=None, keep='first', inplace=True)

После выполнения этой операции DataFrame будет содержать только уникальные строки. Удаление дубликатов помогает упростить анализ данных и избежать искажений в результатах. Помните, что перед удалением дубликатов всегда стоит проанализировать данные и убедиться, что удаление не повредит целостности информации.

Твои коллеги будут рады, поделись в

Автор урока

Дмитрий Комаровский
Дмитрий Комаровский

Автоматизация процессов
в КраснодарБанки.ру

Другие уроки курса "Python"

  1. Многострочные комментарии в Python
  2. Удаление элемента из списка
  3. Метод lt для сортировки объектов
  4. Распаковка значений в Python
  5. Принципы программирования
  6. Профилирование данных с Pandas.
  7. Лямбда-функции в defaultdict
  8. Модуль sys: основы
  9. Подсчет часто встречающихся элементов
  10. Генераторы списков в Python
  11. Форматирование данных с pprint
  12. Создание копии итератора
  13. Генераторы в Python
  14. Удаление эмодзи с помощью pandas
  15. Секреты Python
  16. Функция product() в Python
  17. Определение наиболее частого элемента с помощью collections.Counter
  18. Разность множеств
  19. Синхронизация потоков с time.sleep()
  20. Работа с процессами в Python
  21. Заказ карты Тинькофф Black
  22. Метод hash в Python
  23. Форматирование чисел в Python
  24. Слияние словарей в Python 3.9
  25. Генератор чисел Фибоначчи
  26. Регистрация на TenChat
  27. Выбор редактора кода.
  28. Применение функций в Python
  29. Defaultdict в Python
  30. Генераторные функции в Python
  31. Работа с изображениями PIL
  32. Отправка POST-запроса в REST API
  33. Поиск HTML-элементов с BeautifulSoup
  34. Сортировка данных с лямбда-функциями
  35. Метод rsub в Python: расширение функциональности вычитания
  36. Многопоточность в Python
  37. Работа с deque в Python
  38. Поиск индекса элемента
  39. Комментарии в Python
  40. Сравнение строк в Python
  41. Работа с контекстными переменными
  42. Вложенные функции в Python
  43. Печать комбинаций в Python с Itertools
  44. Непрерывная проверка в Python

Marketello читают маркетологи из крутых компаний