ocrmypdf

OCRmyPDF fügt einer gescannten PDF-Datei eine OCR-Textebene hinzu, damit sie durchsucht und Text entnommen werden kann

Beschreibung

Motivation

Ich habe im Internet nach einem kostenlosen Kommandozeilenprogramm zur OCR von PDF-Dateien gesucht: Ich habe viele gefunden, aber keines von ihnen war wirklich zufriedenstellend:

Entweder produzierten sie PDF-Dateien mit falsch platziertem Text unter dem Bild (was Kopieren/Einfügen unmöglich machte), oder

• sie konnten Akzente und mehrsprachige Zeichen nicht verarbeiten
• sie änderten die Auflösung der eingebetteten Bilder
• sie erzeugten lächerlich große PDF-Dateien
• sie stürzten beim Versuch der OCR ab
• sie erzeugten keine gültigen PDF-Dateien

Darüber hinaus erzeugte keiner von ihnen PDF/A-Dateien (ein Format, das für die Langzeitspeicherung geeignet ist)

...also beschloss ich, mein eigenes Tool zu entwickeln.

• Das Ergebnis wird im PDF/A2-b-Format gespeichert.
• Für die Texterkennung kommt Tesseract zum Einsatz, benötigt wird Version 4.xx.
• Des Weiteren werden verschiedene PDF-Programme (Ghostscript, QPDF) und Grafik-Anwendungen (ImageMagick, unpaper, pngquant) verwendet, außerdem Python und einige Python-PDF-Module.
• OCRmyPDF überprüft bei Erstaufruf, ob die benötigten Programme installiert sind, und gibt bei fehlenden Teilen entsprechende Hinweise aus.
• Die Passung der Textlage ist gut, die Verarbeitung zuverlässig, die Dateigrößen akzeptable, und die Verwendung des PDF/A-2b-Standards für das Ergebnis kann kaum ein anderes freies Linux-Programm bieten.

Hauptmerkmale

• Erzeugt eine durchsuchbare PDF/A-Datei aus einer normalen PDF-Datei
• Platziert OCR-Text genau unter dem Bild, um das Kopieren/Einfügen zu erleichtern
• Behält die exakte Auflösung der eingebetteten Originalbilder bei
• Wenn möglich, werden OCR-Informationen "verlustfrei" eingefügt, ohne andere Inhalte zu beeinträchtigen.
• Optimiert PDF-Bilder und erzeugt oft Dateien, die kleiner sind als die Eingabedatei
• Falls gewünscht, wird das Bild vor der OCR schräggestellt und/oder bereinigt.
• Validiert Eingabe- und Ausgabedateien
• Verteilt die Arbeit auf alle verfügbaren CPU-Kerne
• Verwendet die Tesseract OCR-Engine zur Erkennung von mehr als 100 Sprachen
• Hält Ihre privaten Daten geheim.
• Skaliert richtig, um Dateien mit Tausenden von Seiten zu verarbeiten.
• Gefechtserprobt mit Millionen von PDFs

Für Details: Bitte konsultieren Sie die Dokumentation.

Funktionsweise

-g -Option erstelltes PDF in Evince

Die Eingabedatei ist eine rein "grafische", auch mehrseitige, PDF-Datei.

• Diese wird seitenweise ausgemessen (mit identify aus ImageMagick), und die Seiten in ppm/pgm-Dateien umgewandelt (das Programm erkennt, ob es sich um farbige oder schwarzweiße Vorlagen handelt).
• Optional werden diese Dateien geradegezogen (convert mit -deskew-Option) und gesäubert (unpaper).
• Aus diesen Vorlagen werden mit tesseract hOCR-Dateien mit dem Text und den Lageinformationen erstellt, diese Dateien überführt das hocrTransform.py-Skript jeweils in eine PDF-Datei mit Textlage.
• Die einzelnen PDF-Dateien werden wieder zusammengefasst, diese Ausgabedatei wird mittels Ghostscript in eine PDF/A-Datei umgeformt.

Installation

OCRmyPDF is pure Python, and runs on pretty much everything: Linux, macOS, Windows and FreeBSD.

Requirements

• Python version (3.7+)
• external programs
  • Ghostscript and Tesseract OCR.
  • imagemagick
  • parallel
  • ghostscript
  • qpdf
  • unpaper
  • tesseract-ocr
  • gewünschte Sprachpakete

# apt install imagemagick parallel ghostscript qpdf unpaper tesseract-ocr 

Install

# apt install ocrmypdf

Languages

OCRmyPDF uses Tesseract for OCR, and relies on its language packs.

• For Linux users, you can often find packages that provide language packs:

# Display a list of all Tesseract language packs
apt-cache search tesseract-ocr

# Debian/Ubuntu users
apt-get install tesseract-ocr-chi-sim  # Example: Install Chinese Simplified language pack

# Arch Linux users
pacman -S tesseract-data-eng tesseract-data-deu # Example: Install the English and German language packs

# brew macOS users
brew install tesseract-lang

You can then pass the -l LANG argument to OCRmyPDF to give a hint as to what languages it should search for.

• Multiple languages can be requested.

OCRmyPDF supports Tesseract 4.0 and the beta versions of Tesseract 5.0.

• It will automatically use whichever version it finds first on the PATH environment variable.
• On Windows, if PATH does not provide a Tesseract binary, we use the highest version number that is installed according to the Windows Registry.

Anwendungen

ocrmypdf                      # it's a scriptable command line program
   -l eng+fra                 # it supports multiple languages
   --rotate-pages             # it can fix pages that are misrotated
   --deskew                   # it can deskew crooked PDFs!
   --title "My PDF"           # it can change output metadata
   --jobs 4                   # it uses multiple cores by default
   --output-type pdfa         # it produces PDF/A by default
   input_scanned.pdf          # takes PDF input (or images)
   output_searchable.pdf      # produces validated PDF output

See the release notes for details on the latest changes.

Anwendungsmöglichkeiten

OCRmyPDF lässt sich mit xsane2OCRmyPDF verwenden, um direkt aus XSane heraus hochwertige PDFs mit Textebene im PDF/A-2b-Standard zu erstellen.

• Für Scanner mit Tasten lässt sich via OCRmyPDF mit einigen Programmen die direkte Erstellung von PDFs mit Textlage per Tastendruck verwirklichen.

Probleme und Lösungen

OCRmyPDF bearbeitet standardmäßig keine Dateien, die bereits mit einer Textlage versehen sind und gibt Fehlermeldungen dazu aus.

• Falls das gewünscht ist (z.B. weil später weitere Seiten angehängt worden sind oder versehentlich eine falsche Spracheinstellung gewählt wurde), kann die Option -f (force) verwendet werden, damit wird die Texterkennung für das gesamte Dokument wiederholt.
• Mit der -s | --skip-text-Option kann mindestens ab Version 6.1.2 auch angegeben werden, dass Seiten mit Textlage für die Texterkennung übersprungen werden.
• Neuere Versionen unterstützen zudem --redo-ocr, womit die OCR-Ebene ohne Qualitätsverlust durch Rasterisierung ersetzt wird, während digitaler Text gänzlich unberührt bleibt.

Verwendung vom Python-Paketmanager

LibreOffice

• PDF-Dateien, die direkt aus LibreOffice oder anderen Textbearbeitungsprogrammen erstellt wurden, sind in der Regel keine "grafischen" PDF-Dateien und lassen sich ohnehin durchsuchen
• Eine zusätzliche Textlage ist daher nicht nötig
• OCRmyPDF erstellt eine PDF/A-Version solcher PDF-Dateien

Alternativen

Es gibt einige Programme, die eine Textlage für PDF-Dateien erstellen können.

• gscan2pdf und xsane2OCRmyPDF ermöglichen es, direkt Scans zu erstellen und zu verarbeiten, pdfocr und pdfsandwich arbeiten ähnlich wie OCRmyPDF auf der Kommandozeile mit vorhandene "grafischen" PDF-Dateien.
• Allgemein scheinen Programme, die für die Zusammenführung der Textlagen mit dem Bild auf hocr2pdf zurückgreifen, mehr Probleme mit der Textlagenpassung im "Sandwich"-PDF zu haben.
• Die Passung ist bei Verwendung von Perl- (gscan2pdf) oder Python-Modulen (wie hier in OCRmyPDF, oder indirekt, z.B. in Paperwork und ocrodjvu), wesentlich genauer.
• Problem mit der Passung gibt es häufig auch bei der Verwendung von mit Cuneiform-Linux erzeugten hOCR-Dateien, leider inzwischen auch mit von Tesseract 3.03 erstellten hOCR-Dateien.

Syntax

$ ocrmypdf [OPTION(EN)] EINGABE.pdf AUSGABE.pdf 

Optionen

Option	Beschreibung
-h	Hilfefunktion
-v	Ausführlichkeit der Meldungen erhöhen (diese Option kann mehrfach verwendet werden)
-k	Temporärdateien nicht löschen (Speicherort ist standardmäßig OCRmyPDF-x.x/tmp/DATUM_UHRZEIT.filename.EINGABE ohne Endung)
-g	Debug-Modus: - erstellt eine PDF-Datei, in der jede Seite zweimal vorhanden ist (einmal nur mit der Textlage und den "bounding boxes", einmal mit dem Bild; siehe Abbildung) - Ausführlichkeit wird auf das höchstmögliche Level gestellt - die Temporärdateien werden nicht gelöscht, es wird ein Log zur PDF-Überprüfung angelegt
-d	Jede Seite vor der Texterkennung geradeziehen (mit convert aus ImageMagick)
-c	Jede Seite vor Texterkennung säubern (mit unpaper)
-i	Das gesäuberte Bild in der Ausgabe-PDF-Datei verwenden (Standard ist es, das Original zu verwenden, oder die geradegezogene Version, wenn die -d -Option gesetzt ist)
-o	Falls die Auflösung eines Vorlagebildes niedriger sein sollte als die per Argument angegebene Auflösung in dpi, wird für die Texterkennung ein "oversampled" Bild mit letzterer Auflösung erstellt. Dadurch kann die Texterkennung verbessert werden, führt aber ggf. zu größeren PDF-Ausgabedateien (Standard: keine Verwendung von oversampled Vorlagen)
-f	Erzwinge eine Texterkennung für das gesamte Dokument, selbst wenn einige Seiten bereits Font-Daten enthalten (was bei PDF-Dateien aus Scans eigentlich nicht vorkommen sollte). Nutzung allerdings mit Bedacht, da bei überdimensionierten PDFs einen sehr hohe CPU/Arbeitsspeicher-Last entstehen kann!.
-l	Angabe der Sprache in der PDF-Datei, die Texterkennung wird dadurch verbessert (Standard ohne Angabe ist Englisch), jede von Tesseract unterstützte Sprache ist möglich
-C	Angabe einer zusätzlichen tesseract-Konfigurationsdatei (diese Option kann mehrfach verwendet werden). Die Konfigurationsdatei muss sich im tessdata/configs-Verzeichnis der tesseract-Installation befinden, normalerweise /usr/share/tesseract/ zu finden. Die mitgelieferte Datei tess-cfg/no_ligature, die die Verwendung der f-Ligaturen fi und fl verhindert, muss zur Nutzung entsprechend verschoben werden.
-s	Überspringt bei der Texterstellung alle Seiten, in denen schon Text enthalten ist, die Seiten werden aber in das Dokument aufgenommen. Sinnvoll für Seiten, die eine Mixtur aus Bildern, Textseiten und /oder bereits mit OCR versehenen Lagen beinhalten.
--output‑type	Ausgabeformat pdfa erzeugt eine dem PDF/A-2b-Standard entsprechend Datei zur Langzeit-Archivierung (empfohlen, Standardeinstellung). Mit pdf wird versucht, die Eingabedateiinhalte so wenig als möglich zu verändern. Mit pdf-a1 wird eine PDF/A1-b Datei erstellt, pdf-a2 entspricht pdfa , pdf-a3 erzeugt eine PDF/A3-b-Datei.

Dokumentation

Once OCRmyPDF is installed, the built-in help which explains the command syntax and options can be accessed via:

ocrmypdf --help

Our documentation is served on Read the Docs.

Please report issues on our GitHub issues page, and follow the issue template for quick response.

Links

Weblinks

• Projektseite
• Ausführliche ocrmypdf-Dokumentation
• Toolbox: Texterkennung mit OCRmyPDF - heise Open Source, 09/2014
• Linux, OCR and PDF: Scan to PDF/A - Blogbeitrag zum Scannen und Umwandeln in PDF/A-Dateien, 03/20135
• PDF Übersichtsartikel zu PDF-Programmen
• Texterkennung Übersichtsartikel zum Thema OCR

Testfragen

Testfrage 1

Antwort1

Testfrage 2

Antwort2

Testfrage 3

Antwort3

Testfrage 4

Antwort4

Testfrage 5

Antwort5

TMP

Press & Media

• Going paperless with OCRmyPDF
• Converting a scanned document into a compressed searchable PDF with redactions
• c't 1-2014, page 59: Detailed presentation of OCRmyPDF v1.0 in the leading German IT magazine c't
• heise Open Source, 09/2014: Texterkennung mit OCRmyPDF
• heise Durchsuchbare PDF-Dokumente mit OCRmyPDF erstellen
• Excellent Utilities: OCRmyPDF
• LinuxUser Texterkennung mit OCRmyPDF und Scanbd automatisieren

Business enquiries

OCRmyPDF would not be the software that it is today without companies and users choosing to provide support for feature development and consulting enquiries.

• We are happy to discuss all enquiries, whether for extending the existing feature set, or integrating OCRmyPDF into a larger system.

Geschäftsanfragen

OCRmyPDF wäre nicht die Software, die sie heute ist, ohne Unternehmen und Anwender, die uns bei der Entwicklung von Funktionen und bei Beratungsanfragen unterstützen.

• Wir sind gerne bereit, alle Anfragen zu besprechen, sei es zur Erweiterung der bestehenden Funktionen oder zur Integration von OCRmyPDF in ein größeres System.

Lizenz

Die OCRmyPDF Software ist unter der Mozilla Public License 2.0 (MPL-2.0) lizenziert.

• Diese Lizenz erlaubt die Integration von OCRmyPDF mit anderem Code, einschließlich kommerziellem und Closed-Source-Code, verlangt aber, dass Sie Änderungen auf Quellcode-Ebene veröffentlichen, die Sie an OCRmyPDF vornehmen.

Einige Komponenten von OCRmyPDF haben andere Lizenzen, die durch Standard-SPDX-Lizenzbezeichner oder die DEP5-Copyright- und Lizenzinformationsdatei angezeigt werden.

• Im Allgemeinen ist der Nicht-Kerncode unter MIT lizenziert, und die Dokumentation und die Testdateien sind unter Creative Commons ShareAlike 4.0 (CC-BY-SA 4.0) lizenziert.

Disclaimer

The software is distributed on an "AS IS" BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.