Ocrmypdf

OCRmyPDF ergänzt in eingescannten PDF-Dateien eine durchsuchbare Textebene

Beschreibung

• Das Ergebnis wird im PDF/A2-b-Format gespeichert.
• Für die Texterkennung kommt Tesseract zum Einsatz, benötigt wird Version 4.xx.

• Des Weiteren werden verschiedene PDF-Programme (Ghostscript, QPDF) und Grafik-Anwendungen (ImageMagick, unpaper, pngquant) verwendet, außerdem Python und einige Python-PDF-Module.

• OCRmyPDF überprüft bei Erstaufruf, ob die benötigten Programme installiert sind, und gibt bei fehlenden Teilen entsprechende Hinweise aus.
• Die Passung der Textlage ist gut, die Verarbeitung zuverlässig, die Dateigrößen akzeptable, und die Verwendung des PDF/A-2b-Standards für das Ergebnis kann kaum ein anderes freies Linux-Programm bieten.

Hinweis

PDF-Dateien, die direkt aus LibreOffice oder anderen Textbearbeitungsprogrammen erstellt wurden, sind in der Regel keine "grafischen" PDF-Dateien und lassen sich auch so durchsuchen.

• Eine zusätzliche Textlage ist daher nicht nötig.
• OCRmyPDF erstellt zumindest eine PDF/A-Version solcher PDF-Dateien.

Alternativen

Es gibt einige Programme, die eine Textlage für PDF-Dateien erstellen können.

• gscan2pdf und xsane2OCRmyPDF ermöglichen es, direkt Scans zu erstellen und zu verarbeiten, pdfocr und pdfsandwich arbeiten ähnlich wie OCRmyPDF auf der Kommandozeile mit vorhandene "grafischen" PDF-Dateien.
• Allgemein scheinen Programme, die für die Zusammenführung der Textlagen mit dem Bild auf hocr2pdf zurückgreifen, mehr Probleme mit der Textlagenpassung im "Sandwich"-PDF zu haben.
• Die Passung ist bei Verwendung von Perl- (gscan2pdf) oder Python-Modulen (wie hier in OCRmyPDF, oder indirekt, z.B. in Paperwork und ocrodjvu), wesentlich genauer.
• Problem mit der Passung gibt es häufig auch bei der Verwendung von mit Cuneiform-Linux erzeugten hOCR-Dateien, leider inzwischen auch mit von Tesseract 3.03 erstellten hOCR-Dateien.

Installation

Requirements

In addition to the required Python version (3.7+), OCRmyPDF requires external program installations of Ghostscript and Tesseract OCR. OCRmyPDF is pure Python, and runs on pretty much everything: Linux, macOS, Windows and FreeBSD.

# apt install imagemagick parallel ghostscript qpdf unpaper tesseract-ocr 

Install

# apt install ocrmypdf

Anwendungen

Funktionsweise

-g -Option erstelltes PDF in Evince

Die Eingabedatei ist eine rein "grafische", auch mehrseitige, PDF-Datei.

• Diese wird seitenweise ausgemessen (mit identify aus ImageMagick), und die Seiten in ppm/pgm-Dateien umgewandelt (das Programm erkennt, ob es sich um farbige oder schwarzweiße Vorlagen handelt).
• Optional werden diese Dateien geradegezogen (convert mit -deskew-Option) und gesäubert (unpaper).
• Aus diesen Vorlagen werden mit tesseract hOCR-Dateien mit dem Text und den Lageinformationen erstellt, diese Dateien überführt das hocrTransform.py-Skript jeweils in eine PDF-Datei mit Textlage.
• Die einzelnen PDF-Dateien werden wieder zusammengefasst, diese Ausgabedatei wird mittels Ghostscript in eine PDF/A-Datei umgeformt.

Probleme und Lösungen

OCRmyPDF bearbeitet standardmäßig keine Dateien, die bereits mit einer Textlage versehen sind und gibt Fehlermeldungen dazu aus.

• Falls das gewünscht ist (z.B. weil später weitere Seiten angehängt worden sind oder versehentlich eine falsche Spracheinstellung gewählt wurde), kann die Option -f (force) verwendet werden, damit wird die Texterkennung für das gesamte Dokument wiederholt.
• Mit der -s | --skip-text-Option kann mindestens ab Version 6.1.2 auch angegeben werden, dass Seiten mit Textlage für die Texterkennung übersprungen werden.
• Neuere Versionen unterstützen zudem --redo-ocr, womit die OCR-Ebene ohne Qualitätsverlust durch Rasterisierung ersetzt wird, während digitaler Text gänzlich unberührt bleibt.

Verwendung vom Python-Paketmanager

Anwendungsmöglichkeiten

OCRmyPDF lässt sich mit xsane2OCRmyPDF verwenden, um direkt aus XSane heraus hochwertige PDFs mit Textebene im PDF/A-2b-Standard zu erstellen.

• Für Scanner mit Tasten lässt sich via OCRmyPDF mit einigen Programmen die direkte Erstellung von PDFs mit Textlage per Tastendruck verwirklichen.

Syntax

$ ocrmypdf [OPTION(EN)] EINGABE.pdf AUSGABE.pdf 

Optionen

Option	Beschreibung
-h	Hilfefunktion
-v	Ausführlichkeit der Meldungen erhöhen (diese Option kann mehrfach verwendet werden)
-k	Temporärdateien nicht löschen (Speicherort ist standardmäßig OCRmyPDF-x.x/tmp/DATUM_UHRZEIT.filename.EINGABE ohne Endung)
-g	Debug-Modus: - erstellt eine PDF-Datei, in der jede Seite zweimal vorhanden ist (einmal nur mit der Textlage und den "bounding boxes", einmal mit dem Bild; siehe Abbildung) - Ausführlichkeit wird auf das höchstmögliche Level gestellt - die Temporärdateien werden nicht gelöscht, es wird ein Log zur PDF-Überprüfung angelegt
-d	Jede Seite vor der Texterkennung geradeziehen (mit convert aus ImageMagick)
-c	Jede Seite vor Texterkennung säubern (mit unpaper)
-i	Das gesäuberte Bild in der Ausgabe-PDF-Datei verwenden (Standard ist es, das Original zu verwenden, oder die geradegezogene Version, wenn die -d -Option gesetzt ist)
-o	Falls die Auflösung eines Vorlagebildes niedriger sein sollte als die per Argument angegebene Auflösung in dpi, wird für die Texterkennung ein "oversampled" Bild mit letzterer Auflösung erstellt. Dadurch kann die Texterkennung verbessert werden, führt aber ggf. zu größeren PDF-Ausgabedateien (Standard: keine Verwendung von oversampled Vorlagen)
-f	Erzwinge eine Texterkennung für das gesamte Dokument, selbst wenn einige Seiten bereits Font-Daten enthalten (was bei PDF-Dateien aus Scans eigentlich nicht vorkommen sollte). Nutzung allerdings mit Bedacht, da bei überdimensionierten PDFs einen sehr hohe CPU/Arbeitsspeicher-Last entstehen kann!.
-l	Angabe der Sprache in der PDF-Datei, die Texterkennung wird dadurch verbessert (Standard ohne Angabe ist Englisch), jede von Tesseract unterstützte Sprache ist möglich
-C	Angabe einer zusätzlichen tesseract-Konfigurationsdatei (diese Option kann mehrfach verwendet werden). Die Konfigurationsdatei muss sich im tessdata/configs-Verzeichnis der tesseract-Installation befinden, normalerweise /usr/share/tesseract/ zu finden. Die mitgelieferte Datei tess-cfg/no_ligature, die die Verwendung der f-Ligaturen fi und fl verhindert, muss zur Nutzung entsprechend verschoben werden.
-s	Überspringt bei der Texterstellung alle Seiten, in denen schon Text enthalten ist, die Seiten werden aber in das Dokument aufgenommen. Sinnvoll für Seiten, die eine Mixtur aus Bildern, Textseiten und /oder bereits mit OCR versehenen Lagen beinhalten.
--output-type	{pdfa,pdf,pdfa-1,pdfa-2,pdfa-3} legt das Ausgabeformat fest - pdfa erzeugt eine dem PDF/A-2b-Standard entsprechend Datei zur Langzeit-Archivierung (empfohlen, Standardeinstellung). Mit pdf wird versucht, die Eingabedateiinhalte so wenig als möglich zu verändern. Mit pdf-a1 wird eine PDF/A1-b Datei erstellt, pdf-a2 entspricht pdfa , pdf-a3 erzeugt eine PDF/A3-b-Datei.

Links

Weblinks

• Projektseite
• Ausführliche ocrmypdf-Dokumentation
• Toolbox: Texterkennung mit OCRmyPDF - heise Open Source, 09/2014
• Linux, OCR and PDF: Scan to PDF/A - Blogbeitrag zum Scannen und Umwandeln in PDF/A-Dateien, 03/20135
• PDF Übersichtsartikel zu PDF-Programmen
• Texterkennung Übersichtsartikel zum Thema OCR

Testfragen

Testfrage 1

Antwort1

Testfrage 2

Antwort2

Testfrage 3

Antwort3

Testfrage 4

Antwort4

Testfrage 5

Antwort5

TMP

Installation

Zur Nutzung werden folgende Pakete benötigt:

• imagemagick
• parallel
• ghostscript
• qpdf
• unpaper
• tesseract-ocr (sowie gewünschte Sprachpakete)

sudo apt-get install imagemagick parallel ghostscript qpdf unpaper tesseract-ocr 

TMP

OCRmyPDF adds an OCR text layer to scanned PDF files, allowing them to be searched or copy-pasted.

ocrmypdf                      # it's a scriptable command line program
   -l eng+fra                 # it supports multiple languages
   --rotate-pages             # it can fix pages that are misrotated
   --deskew                   # it can deskew crooked PDFs!
   --title "My PDF"           # it can change output metadata
   --jobs 4                   # it uses multiple cores by default
   --output-type pdfa         # it produces PDF/A by default
   input_scanned.pdf          # takes PDF input (or images)
   output_searchable.pdf      # produces validated PDF output

See the release notes for details on the latest changes.

Main features

• Generates a searchable PDF/A file from a regular PDF
• Places OCR text accurately below the image to ease copy / paste
• Keeps the exact resolution of the original embedded images
• When possible, inserts OCR information as a "lossless" operation without disrupting any other content
• Optimizes PDF images, often producing files smaller than the input file
• If requested, deskews and/or cleans the image before performing OCR
• Validates input and output files
• Distributes work across all available CPU cores
• Uses Tesseract OCR engine to recognize more than 100 languages
• Keeps your private data private.
• Scales properly to handle files with thousands of pages
• Battle-tested on millions of PDFs

For details: please consult the documentation.

Motivation

I searched the web for a free command line tool to OCR PDF files: I found many, but none of them were really satisfying:

• Either they produced PDF files with misplaced text under the image (making copy/paste impossible)
• Or they did not handle accents and multilingual characters
• Or they changed the resolution of the embedded images
• Or they generated ridiculously large PDF files
• Or they crashed when trying to OCR
• Or they did not produce valid PDF files
• On top of that none of them produced PDF/A files (format dedicated for long time storage)

...so I decided to develop my own tool.

Languages

OCRmyPDF uses Tesseract for OCR, and relies on its language packs. For Linux users, you can often find packages that provide language packs:

# Display a list of all Tesseract language packs
apt-cache search tesseract-ocr

# Debian/Ubuntu users
apt-get install tesseract-ocr-chi-sim  # Example: Install Chinese Simplified language pack

# Arch Linux users
pacman -S tesseract-data-eng tesseract-data-deu # Example: Install the English and German language packs

# brew macOS users
brew install tesseract-lang

You can then pass the -l LANG argument to OCRmyPDF to give a hint as to what languages it should search for. Multiple languages can be requested.

OCRmyPDF supports Tesseract 4.0 and the beta versions of Tesseract 5.0. It will automatically use whichever version it finds first on the PATH environment variable. On Windows, if PATH does not provide a Tesseract binary, we use the highest version number that is installed according to the Windows Registry.

Documentation and support

Once OCRmyPDF is installed, the built-in help which explains the command syntax and options can be accessed via:

ocrmypdf --help

Our documentation is served on Read the Docs.

Please report issues on our GitHub issues page, and follow the issue template for quick response.

Press & Media

• Going paperless with OCRmyPDF
• Converting a scanned document into a compressed searchable PDF with redactions
• c't 1-2014, page 59: Detailed presentation of OCRmyPDF v1.0 in the leading German IT magazine c't
• heise Open Source, 09/2014: Texterkennung mit OCRmyPDF
• heise Durchsuchbare PDF-Dokumente mit OCRmyPDF erstellen
• Excellent Utilities: OCRmyPDF
• LinuxUser Texterkennung mit OCRmyPDF und Scanbd automatisieren

Business enquiries

OCRmyPDF would not be the software that it is today without companies and users choosing to provide support for feature development and consulting enquiries. We are happy to discuss all enquiries, whether for extending the existing feature set, or integrating OCRmyPDF into a larger system.

License

The OCRmyPDF software is licensed under the Mozilla Public License 2.0 (MPL-2.0). This license permits integration of OCRmyPDF with other code, included commercial and closed source, but asks you to publish source-level modifications you make to OCRmyPDF.

Some components of OCRmyPDF have other licenses, as indicated by standard SPDX license identifiers or the DEP5 copyright and licensing information file. Generally speaking, non-core code is licensed under MIT, and the documentation and test files are licensed under Creative Commons ShareAlike 4.0 (CC-BY-SA 4.0).

Disclaimer

The software is distributed on an "AS IS" BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.