ocrmypdf

OCRmyPDF fügt einer gescannten PDF-Datei eine OCR-Textebene hinzu, damit sie durchsucht und Text entnommen werden kann

Beschreibung

Merkmale

• Erzeugt eine durchsuchbare PDF/A-Datei aus einer normalen PDF-Datei
• Platziert OCR-Text genau unter dem Bild, um das Kopieren/Einfügen zu erleichtern
• Behält die exakte Auflösung der eingebetteten Originalbilder bei
• Wenn möglich, werden OCR-Informationen "verlustfrei" eingefügt, ohne andere Inhalte zu beeinträchtigen.
• Optimiert PDF-Bilder und erzeugt oft Dateien, die kleiner sind als die Eingabedatei
  • Falls gewünscht, wird das Bild vor der OCR schräggestellt und/oder bereinigt.
• Validiert Eingabe- und Ausgabedateien
• Verteilt die Arbeit auf alle verfügbaren CPU-Kerne
• Verwendet die Tesseract OCR-Engine zur Erkennung von mehr als 100 Sprachen
• Hält Ihre privaten Daten geheim
• Skaliert richtig, um Dateien mit tausenden Seiten zu verarbeiten
• Erprobt mit Millionen von PDFs

Motivation

Schwächen anderer freier Lösungen

• PDF-Dateien mit falsch platziertem Text
  • was Kopieren/Einfügen unmöglich macht
• Keine Akzente und mehrsprachige Zeichen
• Veränderung der Auflösung der eingebetteten Bilder
• große PDF-Dateien
• Abstürze bei OCR
• keine gültige PDF-Datei
• Kein PDF/A
  • für die Langzeitspeicherung

Funktionsweise

-g -Option erstelltes PDF in Evince

Die Eingabedatei ist eine rein "grafische", auch mehrseitige, PDF-Datei.

• Diese wird seitenweise ausgemessen (mit identify aus ImageMagick), und die Seiten in ppm/pgm-Dateien umgewandelt (das Programm erkennt, ob es sich um farbige oder schwarzweiße Vorlagen handelt).
• Optional werden diese Dateien geradegezogen (convert mit -deskew-Option) und gesäubert (unpaper).
• Aus diesen Vorlagen werden mit tesseract hOCR-Dateien mit dem Text und den Lageinformationen erstellt, diese Dateien überführt das hocrTransform.py-Skript jeweils in eine PDF-Datei mit Textlage.
• Die einzelnen PDF-Dateien werden wieder zusammengefasst, diese Ausgabedatei wird mittels Ghostscript in eine PDF/A-Datei umgeformt.

Lizenz

Die OCRmyPDF Software ist unter der Mozilla Public License 2.0 (MPL-2.0) lizenziert.

• Diese Lizenz erlaubt die Integration von OCRmyPDF mit anderem Code, einschließlich kommerziellem und Closed-Source-Code, verlangt aber, dass Sie Änderungen auf Quellcode-Ebene veröffentlichen, die Sie an OCRmyPDF vornehmen.

Einige Komponenten von OCRmyPDF haben andere Lizenzen, die durch Standard-SPDX-Lizenzbezeichner oder die DEP5-Copyright- und Lizenzinformationsdatei angezeigt werden.

• Im Allgemeinen ist der Nicht-Kerncode unter MIT lizenziert, und die Dokumentation und die Testdateien sind unter Creative Commons ShareAlike 4.0 (CC-BY-SA 4.0) lizenziert.

Disclaimer

The software is distributed on an "AS IS" BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.

Installation

OCRmyPDF is pure Python, and runs on pretty much everything: Linux, macOS, Windows and FreeBSD.

Requirements

• Python version (3.7+)
• external programs
  • Ghostscript and Tesseract OCR.
  • imagemagick
  • parallel
  • ghostscript
  • qpdf
  • unpaper
  • tesseract-ocr
  • gewünschte Sprachpakete

# apt install imagemagick parallel ghostscript qpdf unpaper tesseract-ocr 

Install

# apt install ocrmypdf

Languages

OCRmyPDF uses Tesseract for OCR, and relies on its language packs.

• For Linux users, you can often find packages that provide language packs:

# Display a list of all Tesseract language packs
apt-cache search tesseract-ocr

# Debian/Ubuntu users
apt-get install tesseract-ocr-chi-sim  # Example: Install Chinese Simplified language pack

# Arch Linux users
pacman -S tesseract-data-eng tesseract-data-deu # Example: Install the English and German language packs

# brew macOS users
brew install tesseract-lang

You can then pass the -l LANG argument to OCRmyPDF to give a hint as to what languages it should search for.

• Multiple languages can be requested.

OCRmyPDF supports Tesseract 4.0 and the beta versions of Tesseract 5.0.

• It will automatically use whichever version it finds first on the PATH environment variable.
• On Windows, if PATH does not provide a Tesseract binary, we use the highest version number that is installed according to the Windows Registry.

Anwendung

ocrmypdf                      # it's a scriptable command line program
   -l eng+fra                 # it supports multiple languages
   --rotate-pages             # it can fix pages that are misrotated
   --deskew                   # it can deskew crooked PDFs!
   --title "My PDF"           # it can change output metadata
   --jobs 4                   # it uses multiple cores by default
   --output-type pdfa         # it produces PDF/A by default
   input_scanned.pdf          # takes PDF input (or images)
   output_searchable.pdf      # produces validated PDF output

See the release notes for details on the latest changes.

Anwendungsmöglichkeiten

OCRmyPDF lässt sich mit xsane2OCRmyPDF verwenden, um direkt aus XSane heraus hochwertige PDFs mit Textebene im PDF/A-2b-Standard zu erstellen.

• Für Scanner mit Tasten lässt sich via OCRmyPDF mit einigen Programmen die direkte Erstellung von PDFs mit Textlage per Tastendruck verwirklichen.

Probleme und Lösungen

OCRmyPDF bearbeitet standardmäßig keine Dateien, die bereits mit einer Textlage versehen sind und gibt Fehlermeldungen dazu aus.

• Falls das gewünscht ist (z. B. weil später weitere Seiten angehängt worden sind oder versehentlich eine falsche Spracheinstellung gewählt wurde), kann die Option -f (force) verwendet werden, damit wird die Texterkennung für das gesamte Dokument wiederholt.
• Mit der -s | --skip-text-Option kann mindestens ab Version 6.1.2 auch angegeben werden, dass Seiten mit Textlage für die Texterkennung übersprungen werden.
• Neuere Versionen unterstützen zudem --redo-ocr, womit die OCR-Ebene ohne Qualitätsverlust durch Rasterisierung ersetzt wird, während digitaler Text gänzlich unberührt bleibt.

Verwendung vom Python-Paketmanager

LibreOffice

• PDF-Dateien, die direkt aus LibreOffice oder anderen Textbearbeitungsprogrammen erstellt wurden, sind in der Regel keine "grafischen" PDF-Dateien und lassen sich ohnehin durchsuchen
• Eine zusätzliche Textlage ist daher nicht nötig
• OCRmyPDF erstellt eine PDF/A-Version solcher PDF-Dateien

Alternativen

Es gibt einige Programme, die eine Textlage für PDF-Dateien erstellen können.

• gscan2pdf und xsane2OCRmyPDF ermöglichen es, direkt Scans zu erstellen und zu verarbeiten, pdfocr und pdfsandwich arbeiten ähnlich wie OCRmyPDF auf der Kommandozeile mit vorhandene "grafischen" PDF-Dateien.
• Allgemein scheinen Programme, die für die Zusammenführung der Textlagen mit dem Bild auf hocr2pdf zurückgreifen, mehr Probleme mit der Textlagenpassung im "Sandwich"-PDF zu haben.
• Die Passung ist bei Verwendung von Perl- (gscan2pdf) oder Python-Modulen (wie hier in OCRmyPDF, oder indirekt, z. B. in Paperwork und ocrodjvu), wesentlich genauer.
• Problem mit der Passung gibt es häufig auch bei der Verwendung von mit Cuneiform-Linux erzeugten hOCR-Dateien, leider inzwischen auch mit von Tesseract 3.03 erstellten hOCR-Dateien.

Syntax

$ ocrmypdf [OPTION(EN)] EINGABE.pdf AUSGABE.pdf 

Optionen

Option	Beschreibung
-h	Hilfefunktion
-v	Ausführlichkeit der Meldungen erhöhen (diese Option kann mehrfach verwendet werden)
-k	Temporärdateien nicht löschen (Speicherort ist standardmäßig OCRmyPDF-x.x/tmp/DATUM_UHRZEIT.filename.EINGABE ohne Endung)
-g	Debug-Modus: - erstellt eine PDF-Datei, in der jede Seite zweimal vorhanden ist (einmal nur mit der Textlage und den "bounding boxes", einmal mit dem Bild; siehe Abbildung) - Ausführlichkeit wird auf das höchstmögliche Level gestellt - die Temporärdateien werden nicht gelöscht, es wird ein Log zur PDF-Überprüfung angelegt
-d	Jede Seite vor der Texterkennung geradeziehen (mit convert aus ImageMagick)
-c	Jede Seite vor Texterkennung säubern (mit unpaper)
-i	Das gesäuberte Bild in der Ausgabe-PDF-Datei verwenden (Standard ist es, das Original zu verwenden, oder die geradegezogene Version, wenn die -d -Option gesetzt ist)
-o	Falls die Auflösung eines Vorlagebildes niedriger sein sollte als die per Argument angegebene Auflösung in dpi, wird für die Texterkennung ein "oversampled" Bild mit letzterer Auflösung erstellt. Dadurch kann die Texterkennung verbessert werden, führt aber ggf. zu größeren PDF-Ausgabedateien (Standard: keine Verwendung von oversampled Vorlagen)
-f	Erzwinge eine Texterkennung für das gesamte Dokument, selbst wenn einige Seiten bereits Font-Daten enthalten (was bei PDF-Dateien aus Scans eigentlich nicht vorkommen sollte). Nutzung allerdings mit Bedacht, da bei überdimensionierten PDFs einen sehr hohe CPU/Arbeitsspeicher-Last entstehen kann!.
-l	Angabe der Sprache in der PDF-Datei, die Texterkennung wird dadurch verbessert (Standard ohne Angabe ist Englisch), jede von Tesseract unterstützte Sprache ist möglich
-C	Angabe einer zusätzlichen tesseract-Konfigurationsdatei (diese Option kann mehrfach verwendet werden). Die Konfigurationsdatei muss sich im tessdata/configs-Verzeichnis der tesseract-Installation befinden, normalerweise /usr/share/tesseract/ zu finden. Die mitgelieferte Datei tess-cfg/no_ligature, die die Verwendung der f-Ligaturen fi und fl verhindert, muss zur Nutzung entsprechend verschoben werden.
-s	Überspringt bei der Texterstellung alle Seiten, in denen schon Text enthalten ist, die Seiten werden aber in das Dokument aufgenommen. Sinnvoll für Seiten, die eine Mixtur aus Bildern, Textseiten und /oder bereits mit OCR versehenen Lagen beinhalten.
--output‑type	Ausgabeformat pdfa erzeugt eine dem PDF/A-2b-Standard entsprechend Datei zur Langzeit-Archivierung (empfohlen, Standardeinstellung). Mit pdf wird versucht, die Eingabedateiinhalte so wenig als möglich zu verändern. Mit pdf-a1 wird eine PDF/A1-b Datei erstellt, pdf-a2 entspricht pdfa , pdf-a3 erzeugt eine PDF/A3-b-Datei.

Dokumentation

Once OCRmyPDF is installed, the built-in help which explains the command syntax and options can be accessed via:

ocrmypdf --help

Our documentation is served on Read the Docs.

Please report issues on our GitHub issues page, and follow the issue template for quick response.

1. https://ocrmypdf.readthedocs.io/

Links

Weblinks

1. Toolbox: Texterkennung mit OCRmyPDF - heise Open Source, 09/2014
2. Linux, OCR and PDF: Scan to PDF/A - Blogbeitrag zum Scannen und Umwandeln in PDF/A-Dateien, 03/20135
3. PDF Übersichtsartikel zu PDF-Programmen
4. Texterkennung Übersichtsartikel zum Thema OCR

Press & Media

• Going paperless with OCRmyPDF
• Converting a scanned document into a compressed searchable PDF with redactions
• c't 1-2014, page 59: Detailed presentation of OCRmyPDF v1.0 in the leading German IT magazine c't
• heise Open Source, 09/2014: Texterkennung mit OCRmyPDF
• heise Durchsuchbare PDF-Dokumente mit OCRmyPDF erstellen
• Excellent Utilities: OCRmyPDF
• LinuxUser Texterkennung mit OCRmyPDF und Scanbd automatisieren

Manpage

NAME ocrmypdf - add an OCR text layer to PDF files

DESCRIPTION usage: ocrmypdf [-h] [-l LANGUAGE] [--image-dpi DPI]

      [--output-type  {pdfa,pdf,pdfa-1,pdfa-2,pdfa-3}]  [--sidecar  [FILE]] [--version] [-j N] [-q] [-v [VERBOSE]] [--title TITLE] [--author AUTHOR]
      [--subject SUBJECT] [--keywords KEYWORDS] [-r] [--remove-background] [-d] [-c] [-i] [--oversample  DPI]  [--remove-vectors]  [--mask-barcodes]
      [--threshold]  [-f]  [-s]  [--redo-ocr]  [--skip-big  MPixels]  [-O {0,1,2,3}] [--jpeg-quality Q] [--png-quality Q] [--jbig2-lossy] [--max-im‐
      age-mpixels MPixels] [--tesseract-config CFG]  [--tesseract-pagesegmode  PSM]  [--tesseract-oem  MODE]  [--pdf-renderer  {auto,hocr,sandwich}]
      [--tesseract-timeout  SECONDS]  [--rotate-pages-threshold  CONFIDENCE]  [--pdfa-image-compression  {auto,jpeg,lossless}]  [--user-words  FILE]
      [--user-patterns FILE] [-k] [--flowchart FLOWCHART] input_pdf_or_image output_pdf

Generates a searchable PDF or PDF/A from a regular PDF.

OCRmyPDF rasterizes each page of the input PDF, optionally corrects page rotation and performs image processing, runs the Tesseract OCR engine on the image, and then creates a PDF from the OCR information.

positional arguments: input_pdf_or_image

      PDF file containing the images to be OCRed (or '-' to read from standard input)

output_pdf

      Output  searchable  PDF  file  (or '-' to write to standard output). Existing files will be ovewritten.  If same as input file, the input file
      will be updated only if processing is successful.

optional arguments: -h, --help

      show this help message and exit

-l LANGUAGE, --language LANGUAGE

      Language(s) of the file to be OCRed (see tesseract --list-langs for all language packs installed in your system). Use -l eng+deu for  multiple
      languages.

--image-dpi DPI

      For input image instead of PDF, use this DPI instead of file's.

--output-type {pdfa,pdf,pdfa-1,pdfa-2,pdfa-3}

      Choose output type. 'pdfa' creates a PDF/A-2b compliant file for long term archiving (default, recommended) but may not suitable for users who
      want their file altered as little as possible. 'pdfa' also has problems with full Unicode text. 'pdf' attempts to preserve  file  contents  as
      much as possible. 'pdf-a1' creates a PDF/A1-b file. 'pdf-a2' is equivalent to 'pdfa'. 'pdf-a3' creates a PDF/A3-b file.

--sidecar [FILE]

      Generate  sidecar  text files that contain the same text recognized by Tesseract. This may be useful for building a OCR text database. If FILE
      is omitted, the sidecar file be named {output_file}.txt If FILE is set to '-', the sidecar is written to stdout (a convenient way  to  preview
      OCR quality). The output file and sidecar may not both use stdout at the same time.

--version

      Print program version and exit

Job control options: -j N, --jobs N

      Use up to N CPU cores simultaneously (default: use all).

-q, --quiet

      Suppress INFO messages

-v [VERBOSE], --verbose [VERBOSE]

      Print more verbose messages for each additional verbose level

Metadata options:

      Set output PDF/A metadata (default: copy input document's metadata)

--title TITLE

      Set document title (place multiple words in quotes)

--author AUTHOR

      Set document author

--subject SUBJECT

      Set document subject description

--keywords KEYWORDS

      Set document keywords

Image preprocessing options:

      Options to improve the quality of the final PDF and OCR

-r, --rotate-pages

      Automatically rotate pages based on detected text orientation

--remove-background

      Attempt to remove background from gray or color pages, setting it to white

-d, --deskew

      Deskew each page before performing OCR

-c, --clean

      Clean pages from scanning artifacts before performing OCR, and send the cleaned page to OCR, but do not include the cleaned page in the output

-i, --clean-final

      Clean page as above, and incorporate the cleaned image in the final PDF. Might remove desired content.

--oversample DPI

      Oversample images to at least the specified DPI, to improve OCR results slightly

--remove-vectors

      EXPERIMENTAL. Mask out any vector objects in the PDF so that they will not be included in OCR. This can eliminate false characters.

--mask-barcodes

      EXPERIMENTAL. Mask out any barcodes that appear in the PDF so they are not considered during OCR. Barcodes can introduce false characters into
      OCR.

--threshold

      EXPERIMENTAL. Threshold image to 1bpp before sending it to Tesseract for OCR. Can improve OCR quality compared to Tesseract's thresholder.

OCR options:

      Control how OCR is applied

-f, --force-ocr

      Rasterize any text or vector objects on each page, apply OCR, and save the rastered output (this rewrites the PDF)

-s, --skip-text

      Skip OCR on any pages that already contain text, but include the page in final output; useful for PDFs that contain  a  mix  of  images,  text
      pages, and/or previously OCRed pages

--redo-ocr

      Attempt  to  detect  and remove the hidden OCR layer from files that were previously OCRed with OCRmyPDF or another program. Apply OCR to text
      found in raster images. Existing visible text objects will not be changed. If there is no existing OCR, OCR will be added.

--skip-big MPixels

      Skip OCR on pages larger than the specified amount of megapixels, but include skipped pages in final output

Optimization options:

      Control how the PDF is optimized after OCR

-O {0,1,2,3}, --optimize {0,1,2,3}

      Control how PDF is optimized after processing:0 - do not optimize; 1 - do safe, lossless optimizations (default); 2 - do some lossy  optimiza‐
      tions; 3 - do aggressive lossy optimizations (including lossy JBIG2)

--jpeg-quality Q

      Adjust  JPEG quality level for JPEG optimization. 100 is best quality and largest output size; 1 is lowest quality and smallest output; 0 uses
      the default.

--png-quality Q

      Adjust PNG quality level to use when quantizing PNGs.  Values have same meaning as with --jpeg-quality

--jbig2-lossy

      Enable JBIG2 lossy mode (better compression, not suitable for some use cases - see documentation).

Advanced:

      Advanced options to control Tesseract's OCR behavior

--max-image-mpixels MPixels

      Set maximum number of pixels to unpack before treating an image as a decompression bomb

--tesseract-config CFG

      Additional Tesseract configuration files -- see documentation

--tesseract-pagesegmode PSM

      Set Tesseract page segmentation mode (see tesseract --help)

--tesseract-oem MODE

      Set Tesseract 4.0 OCR engine mode: 0 - original Tesseract only; 1 - neural nets LSTM only; 2 - Tesseract + LSTM; 3 - default.

--pdf-renderer {auto,hocr,sandwich}

      Choose OCR PDF renderer - the default option is to let OCRmyPDF choose. See documentation for discussion.

--tesseract-timeout SECONDS

      Give up on OCR after the timeout, but copy the preprocessed page into the final output

--rotate-pages-threshold CONFIDENCE

      Only rotate pages when confidence is above this value (arbitrary units reported by tesseract)

--pdfa-image-compression {auto,jpeg,lossless}

      Specify how to compress images in the output PDF/A.  'auto' lets OCRmyPDF decide. 'jpeg' changes all grayscale and color images to  JPEG  com‐
      pression.  'lossless' uses PNG-style lossless compression for all images. Monochrome images are always compressed using a lossless codec. Com‐
      pression settings are applied to all pages, including those for which OCR was skipped.  Not supported for  --output-type=pdf  ;  that  setting
      preserves the original compression of all images.

--user-words FILE

      Specify  the location of the Tesseract user words file.  This is a list of words Tesseract should consider while performing OCR in addition to
      its standard language dictionaries. This can improve OCR quality especially for specialized and technical documents.

--user-patterns FILE

      Specify the location of the Tesseract user patterns file.

Debugging:

      Arguments to help with troubleshooting and debugging

-k, --keep-temporary-files

      Keep temporary files (helpful for debugging)

--flowchart FLOWCHART

      Generate the pipeline execution flowchart

OCRmyPDF attempts to keep the output file at about the same size. If a file contains losslessly compressed images, and output file will be loss‐ lessly compressed as well.

PDF is a page description file that attempts to preserve a layout exactly. A PDF can contain vector objects (such as text or lines) and raster ob‐ jects (images). A page might have multiple images. OCRmyPDF is prepared to deal with the wide variety of PDFs that exist in the wild.

When a PDF page contains text, OCRmyPDF assumes that the page has already been OCRed or is a "born digital" page that should not be OCRed. The de‐ fault behavior is to exit in this case without producing a file. You can use the option --skip-text to ignore pages with text, or --force-ocr to rasterize all objects on the page and produce an image-only PDF as output.

      ocrmypdf --skip-text file_with_some_text_pages.pdf output.pdf

      ocrmypdf --force-ocr word_document.pdf output.pdf

If you are concerned about long-term archiving of PDFs, use the default option --output-type pdfa which converts the PDF to a standardized PDF/A-2b. This converts images to sRGB colorspace, removes some features from the PDF such as Javascript or forms. If you want to minimize the number of changes made to your PDF, use --output-type pdf.

If OCRmyPDF is given an image file as input, it will attempt to convert the image to a PDF before processing. For more control over the conversion of images to PDF, use img2pdf, or other image to PDF software.

For example, this command uses img2pdf to convert all .png files beginning with the 'page' prefix to a PDF, fitting each image on A4-sized paper, and sending the result to OCRmyPDF through a pipe.

      img2pdf --pagesize A4 page*.png | ocrmypdf - myfile.pdf

HTML documentation is located at:

      /usr/share/doc/ocrmypdf/html/index.html

after installing the ocrmypdf-doc package.

ocrmypdf 8.0.0+dfsg January 2019 OCRMYPDF(1)