ocrmypdf
OCRmyPDF fügt einer gescannten PDF-Datei eine OCR-Textebene hinzu, damit sie durchsucht und Text entnommen werden kann
Beschreibung
- Merkmale
- Erzeugt eine durchsuchbare PDF/A-Datei aus einer normalen PDF-Datei
- Platziert OCR-Text genau unter dem Bild, um das Kopieren/Einfügen zu erleichtern
- Behält die exakte Auflösung der eingebetteten Originalbilder bei
- Wenn möglich, werden OCR-Informationen "verlustfrei" eingefügt, ohne andere Inhalte zu beeinträchtigen.
- Optimiert PDF-Bilder und erzeugt oft Dateien, die kleiner sind als die Eingabedatei
- Falls gewünscht, wird das Bild vor der OCR schräggestellt und/oder bereinigt.
- Validiert Eingabe- und Ausgabedateien
- Verteilt die Arbeit auf alle verfügbaren CPU-Kerne
- Verwendet die Tesseract OCR-Engine zur Erkennung von mehr als 100 Sprachen
- Hält Ihre privaten Daten geheim
- Skaliert richtig, um Dateien mit tausenden Seiten zu verarbeiten
- Erprobt mit Millionen von PDFs
Motivation
- Schwächen anderer freier Lösungen
- PDF-Dateien mit falsch platziertem Text
- was Kopieren/Einfügen unmöglich macht
- Keine Akzente und mehrsprachige Zeichen
- Veränderung der Auflösung der eingebetteten Bilder
- große PDF-Dateien
- Abstürze bei OCR
- keine gültige PDF-Datei
- Kein PDF/A
- für die Langzeitspeicherung
Funktionsweise
-g -Option erstelltes PDF in Evince
Die Eingabedatei ist eine rein "grafische", auch mehrseitige, PDF-Datei.
- Diese wird seitenweise ausgemessen (mit identify aus ImageMagick), und die Seiten in ppm/pgm-Dateien umgewandelt (das Programm erkennt, ob es sich um farbige oder schwarzweiße Vorlagen handelt).
- Optional werden diese Dateien geradegezogen (convert mit -deskew-Option) und gesäubert (unpaper).
- Aus diesen Vorlagen werden mit tesseract hOCR-Dateien mit dem Text und den Lageinformationen erstellt, diese Dateien überführt das hocrTransform.py-Skript jeweils in eine PDF-Datei mit Textlage.
- Die einzelnen PDF-Dateien werden wieder zusammengefasst, diese Ausgabedatei wird mittels Ghostscript in eine PDF/A-Datei umgeformt.
Lizenz
Die OCRmyPDF Software ist unter der Mozilla Public License 2.0 (MPL-2.0) lizenziert.
- Diese Lizenz erlaubt die Integration von OCRmyPDF mit anderem Code, einschließlich kommerziellem und Closed-Source-Code, verlangt aber, dass Sie Änderungen auf Quellcode-Ebene veröffentlichen, die Sie an OCRmyPDF vornehmen.
Einige Komponenten von OCRmyPDF haben andere Lizenzen, die durch Standard-SPDX-Lizenzbezeichner oder die DEP5-Copyright- und Lizenzinformationsdatei angezeigt werden.
- Im Allgemeinen ist der Nicht-Kerncode unter MIT lizenziert, und die Dokumentation und die Testdateien sind unter Creative Commons ShareAlike 4.0 (CC-BY-SA 4.0) lizenziert.
- Disclaimer
The software is distributed on an "AS IS" BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
Installation
OCRmyPDF is pure Python, and runs on pretty much everything: Linux, macOS, Windows and FreeBSD.
- Requirements
- Python version (3.7+)
- external programs
- Ghostscript and Tesseract OCR.
- imagemagick
- parallel
- ghostscript
- qpdf
- unpaper
- tesseract-ocr
- gewünschte Sprachpakete
# apt install imagemagick parallel ghostscript qpdf unpaper tesseract-ocr
- Install
# apt install ocrmypdf
Languages
OCRmyPDF uses Tesseract for OCR, and relies on its language packs.
- For Linux users, you can often find packages that provide language packs:
# Display a list of all Tesseract language packs apt-cache search tesseract-ocr # Debian/Ubuntu users apt-get install tesseract-ocr-chi-sim # Example: Install Chinese Simplified language pack # Arch Linux users pacman -S tesseract-data-eng tesseract-data-deu # Example: Install the English and German language packs # brew macOS users brew install tesseract-lang
You can then pass the -l LANG argument to OCRmyPDF to give a hint as to what languages it should search for.
- Multiple languages can be requested.
OCRmyPDF supports Tesseract 4.0 and the beta versions of Tesseract 5.0.
- It will automatically use whichever version it finds first on the
PATHenvironment variable. - On Windows, if
PATHdoes not provide a Tesseract binary, we use the highest version number that is installed according to the Windows Registry.
Anwendung
ocrmypdf # it's a scriptable command line program -l eng+fra # it supports multiple languages --rotate-pages # it can fix pages that are misrotated --deskew # it can deskew crooked PDFs! --title "My PDF" # it can change output metadata --jobs 4 # it uses multiple cores by default --output-type pdfa # it produces PDF/A by default input_scanned.pdf # takes PDF input (or images) output_searchable.pdf # produces validated PDF output
See the release notes for details on the latest changes.
Anwendungsmöglichkeiten
OCRmyPDF lässt sich mit xsane2OCRmyPDF verwenden, um direkt aus XSane heraus hochwertige PDFs mit Textebene im PDF/A-2b-Standard zu erstellen.
- Für Scanner mit Tasten lässt sich via OCRmyPDF mit einigen Programmen die direkte Erstellung von PDFs mit Textlage per Tastendruck verwirklichen.
Probleme und Lösungen
OCRmyPDF bearbeitet standardmäßig keine Dateien, die bereits mit einer Textlage versehen sind und gibt Fehlermeldungen dazu aus.
- Falls das gewünscht ist (z. B. weil später weitere Seiten angehängt worden sind oder versehentlich eine falsche Spracheinstellung gewählt wurde), kann die Option -f (force) verwendet werden, damit wird die Texterkennung für das gesamte Dokument wiederholt.
- Mit der -s | --skip-text-Option kann mindestens ab Version 6.1.2 auch angegeben werden, dass Seiten mit Textlage für die Texterkennung übersprungen werden.
- Neuere Versionen unterstützen zudem --redo-ocr, womit die OCR-Ebene ohne Qualitätsverlust durch Rasterisierung ersetzt wird, während digitaler Text gänzlich unberührt bleibt.
- Verwendung vom Python-Paketmanager
LibreOffice
- PDF-Dateien, die direkt aus LibreOffice oder anderen Textbearbeitungsprogrammen erstellt wurden, sind in der Regel keine "grafischen" PDF-Dateien und lassen sich ohnehin durchsuchen
- Eine zusätzliche Textlage ist daher nicht nötig
- OCRmyPDF erstellt eine PDF/A-Version solcher PDF-Dateien
Alternativen
Es gibt einige Programme, die eine Textlage für PDF-Dateien erstellen können.
- gscan2pdf und xsane2OCRmyPDF ermöglichen es, direkt Scans zu erstellen und zu verarbeiten, pdfocr und pdfsandwich arbeiten ähnlich wie OCRmyPDF auf der Kommandozeile mit vorhandene "grafischen" PDF-Dateien.
- Allgemein scheinen Programme, die für die Zusammenführung der Textlagen mit dem Bild auf hocr2pdf zurückgreifen, mehr Probleme mit der Textlagenpassung im "Sandwich"-PDF zu haben.
- Die Passung ist bei Verwendung von Perl- (gscan2pdf) oder Python-Modulen (wie hier in OCRmyPDF, oder indirekt, z. B. in Paperwork und ocrodjvu), wesentlich genauer.
- Problem mit der Passung gibt es häufig auch bei der Verwendung von mit Cuneiform-Linux erzeugten hOCR-Dateien, leider inzwischen auch mit von Tesseract 3.03 erstellten hOCR-Dateien.
Syntax
$ ocrmypdf [OPTION(EN)] EINGABE.pdf AUSGABE.pdf
Optionen
| Option | Beschreibung |
|---|---|
| -h | Hilfefunktion |
| -v | Ausführlichkeit der Meldungen erhöhen (diese Option kann mehrfach verwendet werden) |
| -k | Temporärdateien nicht löschen (Speicherort ist standardmäßig OCRmyPDF-x.x/tmp/DATUM_UHRZEIT.filename.EINGABE ohne Endung) |
| -g | Debug-Modus:
- erstellt eine PDF-Datei, in der jede Seite zweimal vorhanden ist (einmal nur mit der Textlage und den "bounding boxes", einmal mit dem Bild; siehe Abbildung) - Ausführlichkeit wird auf das höchstmögliche Level gestellt - die Temporärdateien werden nicht gelöscht, es wird ein Log zur PDF-Überprüfung angelegt |
| -d | Jede Seite vor der Texterkennung geradeziehen (mit convert aus ImageMagick) |
| -c | Jede Seite vor Texterkennung säubern (mit unpaper) |
| -i | Das gesäuberte Bild in der Ausgabe-PDF-Datei verwenden (Standard ist es, das Original zu verwenden, oder die geradegezogene Version, wenn die -d -Option gesetzt ist) |
| -o | Falls die Auflösung eines Vorlagebildes niedriger sein sollte als die per Argument angegebene Auflösung in dpi, wird für die Texterkennung ein "oversampled" Bild mit letzterer Auflösung erstellt.
|
| -f | Erzwinge eine Texterkennung für das gesamte Dokument, selbst wenn einige Seiten bereits Font-Daten enthalten (was bei PDF-Dateien aus Scans eigentlich nicht vorkommen sollte).
|
| -l | Angabe der Sprache in der PDF-Datei, die Texterkennung wird dadurch verbessert (Standard ohne Angabe ist Englisch), jede von Tesseract unterstützte Sprache ist möglich |
| -C | Angabe einer zusätzlichen tesseract-Konfigurationsdatei (diese Option kann mehrfach verwendet werden).
|
| -s | Überspringt bei der Texterstellung alle Seiten, in denen schon Text enthalten ist, die Seiten werden aber in das Dokument aufgenommen.
|
| --output‑type | Ausgabeformat
|
Parameter
Umgebungsvariablen
Exit-Status
Konfiguration
Dateien
Sicherheit
Dokumentation
Once OCRmyPDF is installed, the built-in help which explains the command syntax and options can be accessed via:
ocrmypdf --help
Our documentation is served on Read the Docs.
Please report issues on our GitHub issues page, and follow the issue template for quick response.
Man-Pages
Info-Pages
Siehe auch
Links
Projekt
Weblinks
- Toolbox: Texterkennung mit OCRmyPDF - heise Open Source, 09/2014
- Linux, OCR and PDF: Scan to PDF/A - Blogbeitrag zum Scannen und Umwandeln in PDF/A-Dateien, 03/20135
- PDF Übersichtsartikel zu PDF-Programmen
- Texterkennung Übersichtsartikel zum Thema OCR
Press & Media
- Going paperless with OCRmyPDF
- Converting a scanned document into a compressed searchable PDF with redactions
- c't 1-2014, page 59: Detailed presentation of OCRmyPDF v1.0 in the leading German IT magazine c't
- heise Open Source, 09/2014: Texterkennung mit OCRmyPDF
- heise Durchsuchbare PDF-Dokumente mit OCRmyPDF erstellen
- Excellent Utilities: OCRmyPDF
- LinuxUser Texterkennung mit OCRmyPDF und Scanbd automatisieren
Einzelnachweise
Testfragen
Testfrage 1
Testfrage 2
Testfrage 3
Testfrage 4
Testfrage 5
Manpage
NAME ocrmypdf - add an OCR text layer to PDF files
DESCRIPTION usage: ocrmypdf [-h] [-l LANGUAGE] [--image-dpi DPI]
[--output-type {pdfa,pdf,pdfa-1,pdfa-2,pdfa-3}] [--sidecar [FILE]] [--version] [-j N] [-q] [-v [VERBOSE]] [--title TITLE] [--author AUTHOR]
[--subject SUBJECT] [--keywords KEYWORDS] [-r] [--remove-background] [-d] [-c] [-i] [--oversample DPI] [--remove-vectors] [--mask-barcodes]
[--threshold] [-f] [-s] [--redo-ocr] [--skip-big MPixels] [-O {0,1,2,3}] [--jpeg-quality Q] [--png-quality Q] [--jbig2-lossy] [--max-im‐
age-mpixels MPixels] [--tesseract-config CFG] [--tesseract-pagesegmode PSM] [--tesseract-oem MODE] [--pdf-renderer {auto,hocr,sandwich}]
[--tesseract-timeout SECONDS] [--rotate-pages-threshold CONFIDENCE] [--pdfa-image-compression {auto,jpeg,lossless}] [--user-words FILE]
[--user-patterns FILE] [-k] [--flowchart FLOWCHART] input_pdf_or_image output_pdf
Generates a searchable PDF or PDF/A from a regular PDF.
OCRmyPDF rasterizes each page of the input PDF, optionally corrects page rotation and performs image processing, runs the Tesseract OCR engine on the image, and then creates a PDF from the OCR information.
positional arguments: input_pdf_or_image
PDF file containing the images to be OCRed (or '-' to read from standard input)
output_pdf
Output searchable PDF file (or '-' to write to standard output). Existing files will be ovewritten. If same as input file, the input file
will be updated only if processing is successful.
optional arguments: -h, --help
show this help message and exit
-l LANGUAGE, --language LANGUAGE
Language(s) of the file to be OCRed (see tesseract --list-langs for all language packs installed in your system). Use -l eng+deu for multiple
languages.
--image-dpi DPI
For input image instead of PDF, use this DPI instead of file's.
--output-type {pdfa,pdf,pdfa-1,pdfa-2,pdfa-3}
Choose output type. 'pdfa' creates a PDF/A-2b compliant file for long term archiving (default, recommended) but may not suitable for users who
want their file altered as little as possible. 'pdfa' also has problems with full Unicode text. 'pdf' attempts to preserve file contents as
much as possible. 'pdf-a1' creates a PDF/A1-b file. 'pdf-a2' is equivalent to 'pdfa'. 'pdf-a3' creates a PDF/A3-b file.
--sidecar [FILE]
Generate sidecar text files that contain the same text recognized by Tesseract. This may be useful for building a OCR text database. If FILE
is omitted, the sidecar file be named {output_file}.txt If FILE is set to '-', the sidecar is written to stdout (a convenient way to preview
OCR quality). The output file and sidecar may not both use stdout at the same time.
--version
Print program version and exit
Job control options: -j N, --jobs N
Use up to N CPU cores simultaneously (default: use all).
-q, --quiet
Suppress INFO messages
-v [VERBOSE], --verbose [VERBOSE]
Print more verbose messages for each additional verbose level
Metadata options:
Set output PDF/A metadata (default: copy input document's metadata)
--title TITLE
Set document title (place multiple words in quotes)
--author AUTHOR
Set document author
--subject SUBJECT
Set document subject description
--keywords KEYWORDS
Set document keywords
Image preprocessing options:
Options to improve the quality of the final PDF and OCR
-r, --rotate-pages
Automatically rotate pages based on detected text orientation
--remove-background
Attempt to remove background from gray or color pages, setting it to white
-d, --deskew
Deskew each page before performing OCR
-c, --clean
Clean pages from scanning artifacts before performing OCR, and send the cleaned page to OCR, but do not include the cleaned page in the output
-i, --clean-final
Clean page as above, and incorporate the cleaned image in the final PDF. Might remove desired content.
--oversample DPI
Oversample images to at least the specified DPI, to improve OCR results slightly
--remove-vectors
EXPERIMENTAL. Mask out any vector objects in the PDF so that they will not be included in OCR. This can eliminate false characters.
--mask-barcodes
EXPERIMENTAL. Mask out any barcodes that appear in the PDF so they are not considered during OCR. Barcodes can introduce false characters into
OCR.
--threshold
EXPERIMENTAL. Threshold image to 1bpp before sending it to Tesseract for OCR. Can improve OCR quality compared to Tesseract's thresholder.
OCR options:
Control how OCR is applied
-f, --force-ocr
Rasterize any text or vector objects on each page, apply OCR, and save the rastered output (this rewrites the PDF)
-s, --skip-text
Skip OCR on any pages that already contain text, but include the page in final output; useful for PDFs that contain a mix of images, text
pages, and/or previously OCRed pages
--redo-ocr
Attempt to detect and remove the hidden OCR layer from files that were previously OCRed with OCRmyPDF or another program. Apply OCR to text
found in raster images. Existing visible text objects will not be changed. If there is no existing OCR, OCR will be added.
--skip-big MPixels
Skip OCR on pages larger than the specified amount of megapixels, but include skipped pages in final output
Optimization options:
Control how the PDF is optimized after OCR
-O {0,1,2,3}, --optimize {0,1,2,3}
Control how PDF is optimized after processing:0 - do not optimize; 1 - do safe, lossless optimizations (default); 2 - do some lossy optimiza‐
tions; 3 - do aggressive lossy optimizations (including lossy JBIG2)
--jpeg-quality Q
Adjust JPEG quality level for JPEG optimization. 100 is best quality and largest output size; 1 is lowest quality and smallest output; 0 uses
the default.
--png-quality Q
Adjust PNG quality level to use when quantizing PNGs. Values have same meaning as with --jpeg-quality
--jbig2-lossy
Enable JBIG2 lossy mode (better compression, not suitable for some use cases - see documentation).
Advanced:
Advanced options to control Tesseract's OCR behavior
--max-image-mpixels MPixels
Set maximum number of pixels to unpack before treating an image as a decompression bomb
--tesseract-config CFG
Additional Tesseract configuration files -- see documentation
--tesseract-pagesegmode PSM
Set Tesseract page segmentation mode (see tesseract --help)
--tesseract-oem MODE
Set Tesseract 4.0 OCR engine mode: 0 - original Tesseract only; 1 - neural nets LSTM only; 2 - Tesseract + LSTM; 3 - default.
--pdf-renderer {auto,hocr,sandwich}
Choose OCR PDF renderer - the default option is to let OCRmyPDF choose. See documentation for discussion.
--tesseract-timeout SECONDS
Give up on OCR after the timeout, but copy the preprocessed page into the final output
--rotate-pages-threshold CONFIDENCE
Only rotate pages when confidence is above this value (arbitrary units reported by tesseract)
--pdfa-image-compression {auto,jpeg,lossless}
Specify how to compress images in the output PDF/A. 'auto' lets OCRmyPDF decide. 'jpeg' changes all grayscale and color images to JPEG com‐
pression. 'lossless' uses PNG-style lossless compression for all images. Monochrome images are always compressed using a lossless codec. Com‐
pression settings are applied to all pages, including those for which OCR was skipped. Not supported for --output-type=pdf ; that setting
preserves the original compression of all images.
--user-words FILE
Specify the location of the Tesseract user words file. This is a list of words Tesseract should consider while performing OCR in addition to
its standard language dictionaries. This can improve OCR quality especially for specialized and technical documents.
--user-patterns FILE
Specify the location of the Tesseract user patterns file.
Debugging:
Arguments to help with troubleshooting and debugging
-k, --keep-temporary-files
Keep temporary files (helpful for debugging)
--flowchart FLOWCHART
Generate the pipeline execution flowchart
OCRmyPDF attempts to keep the output file at about the same size. If a file contains losslessly compressed images, and output file will be loss‐ lessly compressed as well.
PDF is a page description file that attempts to preserve a layout exactly. A PDF can contain vector objects (such as text or lines) and raster ob‐ jects (images). A page might have multiple images. OCRmyPDF is prepared to deal with the wide variety of PDFs that exist in the wild.
When a PDF page contains text, OCRmyPDF assumes that the page has already been OCRed or is a "born digital" page that should not be OCRed. The de‐ fault behavior is to exit in this case without producing a file. You can use the option --skip-text to ignore pages with text, or --force-ocr to rasterize all objects on the page and produce an image-only PDF as output.
ocrmypdf --skip-text file_with_some_text_pages.pdf output.pdf
ocrmypdf --force-ocr word_document.pdf output.pdf
If you are concerned about long-term archiving of PDFs, use the default option --output-type pdfa which converts the PDF to a standardized PDF/A-2b. This converts images to sRGB colorspace, removes some features from the PDF such as Javascript or forms. If you want to minimize the number of changes made to your PDF, use --output-type pdf.
If OCRmyPDF is given an image file as input, it will attempt to convert the image to a PDF before processing. For more control over the conversion of images to PDF, use img2pdf, or other image to PDF software.
For example, this command uses img2pdf to convert all .png files beginning with the 'page' prefix to a PDF, fitting each image on A4-sized paper, and sending the result to OCRmyPDF through a pipe.
img2pdf --pagesize A4 page*.png | ocrmypdf - myfile.pdf
HTML documentation is located at:
/usr/share/doc/ocrmypdf/html/index.html
after installing the ocrmypdf-doc package.
ocrmypdf 8.0.0+dfsg January 2019 OCRMYPDF(1)