MS Excel może wyświetlić 1 048 576 wierszy. Chociaż przy normalnym użytkowaniu może się to wydawać naprawdę dużą liczbą, istnieje wiele scenariuszy, w których to nie wystarczy.
Niezależnie od tego, czy przeglądasz pliki dziennika, czy duże zbiory danych, łatwo natrafisz na pliki CSV zawierające miliony wierszy lub ogromne pliki tekstowe. Ponieważ Przewyższać nie obsługuje tak dużych plików, jak dokładnie je otworzyć? Przekonajmy się.
Dlaczego zwykłe edytory tekstu nie mogą otwierać naprawdę dużych plików?
Komputer ma gigabajty pamięci, dlaczego więc edytory tekstu nie mogą otwierać dużych plików?
W grę wchodzą dwa czynniki. Niektóre aplikacje mają zakodowane na stałe ograniczenie ilości danych, które mogą wyświetlić. Nie ma znaczenia, ile pamięci ma Twój komputer, po prostu jej nie użyje.
Drugą kwestią jest pamięć RAM. Wiele edytorów tekstu nie ma stałego ograniczenia liczby wierszy, ale nie może wyświetlać dużych plików ze względu na ograniczenia pamięci. Ładują cały plik do systemowej pamięci RAM, więc jeśli ta pamięć nie jest wystarczająco duża, proces kończy się niepowodzeniem.
Metoda nr 1: korzystanie z bezpłatnych edytorów
Najlepszym sposobem przeglądania bardzo dużych plików tekstowych jest użycie… edytora tekstu. Nie byle jaki edytor tekstu, ale narzędzia przeznaczone do pisania kodu. Takie aplikacje zazwyczaj bez problemu radzą sobie z dużymi plikami i są bezpłatne.
Przeglądarka dużych plików tekstowych to prawdopodobnie najprostsza z tych aplikacji. Jest naprawdę łatwy w obsłudze, działa szybko i zużywa bardzo mało zasobów. Jedyny minus? Nie może edytować plików. Jeśli jednak chcesz przeglądać tylko duże pliki CSV, jest to bez wątpienia najlepsze narzędzie do tego zadania.
Do edycji dużych plików tekstowych również powinieneś wypróbować Emacs. Pierwotnie stworzony dla systemów Unix, działa doskonale również w systemie Windows i radzi sobie z dużymi plikami. Podobnie Neovim i Wzniosły tekst to dwa lekkie IDE, których można używać do otwierania plików tekstowych CSV o wielkości gigabajtów.
Jeśli szukasz tylko danych w dużych plikach dziennika, klogg jest właśnie narzędziem dla Ciebie. Ta aplikacja, będąca rozwidleniem popularnej aplikacji glog, umożliwia łatwe wykonywanie złożonych operacji wyszukiwania w ogromnych plikach tekstowych. Ponieważ generowane komputerowo pliki dziennika często mogą zawierać miliony wierszy, klogg został zaprojektowany tak, aby bezproblemowo pracować z plikami o takich rozmiarach..
Metoda nr 2: Podziel na wiele części
Cały problem z próbą otwarcia dużych plików CSV polega na tym, że są one zbyt duże. Ale co, jeśli podzielisz je na wiele mniejszych plików?
To popularne rozwiązanie, ponieważ z reguły nie wiąże się z koniecznością nauki interfejsu nowego edytora tekstu. Zamiast tego możesz użyć jeden z wielu rozdzielaczy CSV dostępnych online, aby podzielić duży plik na kilka łatwych do otwarcia plików. Dostęp do każdego z tych plików będzie wówczas możliwy normalnie.
Nie jest to jednak najlepszy sposób. Dzielenie dużego pliku może często prowadzić do dziwnych literówek lub nieprawidłowo skonfigurowanych plików. Co więcej, otwarcie każdego fragmentu z osobna uniemożliwia filtrowanie całych danych na raz.
Metoda nr 3: Import do bazy danych
Pliki tekstowe i .csv o rozmiarze wielu gigabajtów to zazwyczaj duże zbiory danych. Dlaczego więc po prostu nie zaimportować ich do bazy danych?
SQL jest obecnie najpopularniejszym językiem znaczników baz danych. W użyciu jest wiele wersji SQL, ale najłatwiejszym jest prawdopodobnie MySQL. I na szczęście możliwe jest przekonwertuj plik CSV na tabelę MySQL.
Nie jest to w żadnym wypadku najłatwiejsza metoda radzenia sobie z dużymi plikami CSV, dlatego zalecamy ją tylko wtedy, gdy chcesz regularnie pracować z dużymi zbiorami danych. Jeśli MySQL wydaje się zbyt trudny, zawsze możesz zamiast tego zaimportować pliki .csv do Dostęp MS.
Metoda nr 4: analiza za pomocą bibliotek Pythona
Gdy pracujesz z plikiem .csv zawierającym miliony wierszy danych, oczywiście nie będziesz w stanie zrozumieć tego ręcznie. Prawdopodobnie chcesz filtrować dane i uruchamiać określone zapytania, aby zrozumieć trendy.
Dlaczego więc nie napisz kod w Pythonie zrobić właśnie tego?
Po raz kolejny nie jest to najbardziej przyjazna dla użytkownika metoda. Chociaż Python nie jest najtrudniejszym językiem programowania do nauki, zajmuje się kodowaniem, więc może nie być dla Ciebie najlepszym podejściem. Jeśli jednak codziennie musisz przeglądać naprawdę duże pliki CSV, możesz chcieć zautomatyzować zadanie za pomocą kodu Pythona.
Metoda nr 5: Za pomocą narzędzi premium
Edytory tekstu, które widzieliśmy w pierwszej metodzie, nie były narzędziami dedykowanymi do przetwarzania plików CSV. Były to narzędzia ogólnego przeznaczenia, których można było używać również do pracy z dużymi plikami .csv.
A co ze specjalistycznymi zastosowaniami? Czy nie ma aplikacji stworzonych, aby rozwiązać ten problem?.
Właściwie istnieją. Na przykład Eksplorator CSV opiera się na procesie opisanym w dwóch ostatnich metodach (baza danych SQL i kod Pythona), aby stworzyć aplikację zdolną do przeglądania i edytowania plików CSV o dowolnym rozmiarze. Możesz robić wszystko, czego oczekujesz od narzędzia arkusza kalkulacyjnego, np. tworzyć wykresy lub filtrować dane w Eksploratorze CSV.
Inna opcja to UltraEdit. W przeciwieństwie do poprzedniego narzędzia, dotyczy to nie tylko plików .csv, ale dowolnego typu pliku tekstowego. Z łatwością radzi sobie z plikami tekstowymi i CSV o wielkości do kilku gigabajtów, a interfejs jest podobny do wielu darmowych edytorów, o których mówiliśmy wcześniej.
Jedyną wadą tych narzędzi jest to, że są to aplikacje premium, wymagające posiadania płatnej licencji, aby móc z nich korzystać. Zawsze możesz wypróbować ich bezpłatne wersje próbne, aby sprawdzić ich funkcje, lub jeśli korzystasz tylko jednorazowo.
Jaki jest najlepszy sposób otwierania dużych plików tekstowych i CSV?
W dobie Big Data nierzadko można spotkać pliki tekstowe o pojemności gigabajtów, których nawet przeglądanie za pomocą wbudowanych narzędzi, takich jak Notatnik czy MS Excel, może być trudne. Aby móc otwierać tak duże pliki CSV, musisz pobrać aplikację innej firmy i korzystać z niej.
Jeśli chcesz tylko przeglądać takie pliki, najlepszym wyborem będzie przeglądarka dużych plików tekstowych. Aby je edytować, możesz wypróbować bogaty w funkcje edytor tekstu, taki jak Emacs, lub skorzystać z narzędzia premium, takiego jak Eksplorator CSV.
Techniki takie jak dzielenie pliku CSV lub importowanie go do bazy danych wymagają zbyt wielu kroków. Jeśli często pracujesz z ogromnymi plikami tekstowymi, lepiej będzie zaopatrzyć się w płatną licencję na dedykowane narzędzie premium.
.