Installation von Screaming Frog SEO Spider auf VPS

Wähle einen Artikel

Inhaltsverzeichnis

Überblick
Screaming Frog SEO Spider Installieren
Image bauen
Screaming Frog starten
Mit dem Server per RDP verbinden
Screaming Frog aktivieren

0. Überblick

Verwendetes System: Debian 11 64 bit
Genutzter User: Ich nehme alles als „root“ vor
Zeitdauer: ca. 5 Minuten
Schwierigkeit: Einfach. Nur Code kopieren ?
Besonderheiten: Die Installation von Docker / Docker Compose wird hier vorausgesetzt.

1. Screaming Frog SEO Spider Installieren

1.1 Einleitung

Screaming Frog SEO Spider ist ein Programm, welches eine Webseite durchsucht um anschließend SEO Optimierungen durchzuführen. Das Programm gibt es in einer kostenlosen sowie kostenpflichtigen Version. Die Unterschiede können hier eingesehen werden: https://www.screamingfrog.co.uk/seo-spider/pricing/

Mit dieser Anleitung können beide Versionen installiert werden.

1.2 Infos zu yml Dateien

Bei yml Dateien ist es sehr wichtig, dass die Zeilen alle richtig eingerückt sind. Die Zeilen MÜSSEN immer mit der Leertaste eingerückt werden. Es dürfen KEINE Tabs enthalten sein. Du kannst den nachfolgenden Code immer online „überprüfen“ lassen. Die meisten Fehler entstehen nämlich durch die falsche Formatierung. Ein Dienst zum Überprüfen ist zum Beispiel: https://codebeautify.org/yaml-validator

1.3 Vorbereitung

Diese Anleitung basiert auf dem aktuellen Debian 10 Betriebssystem. Screaming Frog werden wir unter Docker realisieren. Dies ermöglicht uns später sehr schnelle Updates und eine schnelle Installation.

1.3.1 Verzeichnis erstellen

Wir erstellen uns ein neues Verzeichnis, in welchem wir später alle Daten von Screaming Frog abspeichen. Dazu geben wir folgendes in der Konsole ein:

mkdir -p /opt/containers/screaming-frog/home

Du kannst hier auch ein anderes Verzeichnis verwenden. Musst dann aber die gesamte Anleitung entsprechend anpassen.

1.3.2 docker-compose.yml erstellen

Nun können wir mit der eigentlichen „Installation“ von Screaming Frog beginnen. Dazu öffnest du folgende Datei:

nano /opt/containers/screaming-frog/docker-compose.yml

Nun kopierst du folgenden Code in die Datei. Dieser Code ist unser Bauplan für unseren Screaming Frog Container.

version: '3.5'

services:

  screaming-frog:

    build: ./

    container_name: screaming-frog

    hostname: screaming-frog

    restart: unless-stopped

    shm_size: 1g

    ports:

      - "3389:3389"

    volumes:

      - ./home:/home

      - ./users.list:/etc/users.list

1.3.3 Dockerfile anlegen

Nun erweitern wir noch unseren „Bauplan“. Dazu erstellst du eine neue Datei:

nano /opt/containers/screaming-frog/Dockerfile

Hier kopierst du folgenden Code hinein:

FROM danielguerra/ubuntu-xrdp:latest

WORKDIR /tmp

RUN wget https://download.screamingfrog.co.uk/products/seo-spider/screamingfrogseospider_15.2_all.deb

RUN apt-get update

RUN apt-get -f -y install ./screamingfrogseospider_15.2_all.deb

RUN rm screamingfrogseospider_15.2_all.deb

RUN rm -f /etc/xrdp/key.pem

WORKDIR /etc/xrdp

RUN openssl req -x509 -newkey rsa:2048 -nodes -keyout /etc/xrdp/key.pem -out /etc/xrdp/cert.pem -days 365 -subj "/C=US/ST=Some State/L=Some City/O=Some Org/OU=Some Unit/CN=euredomain.de"

Passt hier nun noch eure Domain im letzten Befehl / Wort an.

Vorher:

CN=euredomain.de

Nachher:

CN=testbereich.net

1.3.4 Benutzer anlegen

Nun legen wir uns noch einen neuen Benutzer an. Dieser Benutzer dient uns später zum Anmelden.

Dazu generieren wir uns ein Kennwort mittels dieses Befehles:

openssl passwd -1 'neuesKennwort'

Bei mir wäre dies:

openssl passwd -1 'ghasd232fAbdaw35hgA'

In deiner Konsole sollte jetzt in etwa so etwas stehen:

Nachdem wir uns ein Kennwort generiert haben, müssen wir den Benutzer noch anlegen. Dazu erstellst du folgende Datei:

nano /opt/containers/screaming-frog/users.list

Hier legst du jetzt den neuen Benutzer an. Die Datei ist folgendermaßen aufgebaut:

User-ID     Nutzername      Passwort-Hash       Nutzer-Gruppe

Ich gebe also folgendes ein:

999 easyname $1$WVWwAbth$KCU7o.caNYxjSRwV9z019/ sudo

Wichtig ist, dass du die „999“ und „sudo“ stehen lässt.

Verändere nur den Nutzernamen sowie den Passwort Hash. Den Passwort-Hash kopierst du dir von dem Schritt zuvor.

Meine Datei sieht dann so aus:

2. Image bauen

Nun lassen wir unseren Server unser Image „zusammenbauen“. Dazu gibst du folgendes ein:

docker compose -f /opt/containers/screaming-frog/docker-compose.yml build

Dies kann je nach Leistung deines Servers einige Minuten dauern.

3. Screaming Frog starten

Gib nun folgendes ein, um deinen Screaming Frog Container zu starten:

docker compose -f /opt/containers/screaming-frog/docker-compose.yml up -d

4. Mit dem Server per RDP verbinden

Nun gibst du in der Windows Suche „Remotedesktopverbindung“ ein.

Nun gibst du die Domain eures Servers an. In meinem Fall „testbereich.net“.

Hier musst du noch bestätigen, dass du dem Zertifikat vertraust.

Diese Meldung erscheint, da das Zertifikat auf dem Server selbst generiert wurde. Dies stellt aber kein Problem dar. Du kannst noch wählen, „Nicht erneut nach Verbindungen mit diesem Computer fragen“. Dann bekommst du diese Meldung nicht mehr angezeigt. Anschließend bestätigst du mit „Ja“.

Nun siehst du diesen Dialog.

Gib hier nun deinen Nutzernamen sowie dein gewähltes Passwort ein. Bei mir ist das:

Nutzername: easyname
Passwort: ghasd232fAbdaw35hgAAnschließend solltest du folgendes sehen:

Klicke hier nun auf „Use default config“.

Unter „Applications --> Internet“ findest du nun Screaming Frog.

Beim ersten Start musst du noch die EULA akzeptieren.

Nun kannst du Screaming Frog ganz normal mit der grafischen Oberfläche nutzen.

Wichtig ist, dass du alle Dateien / Crawls unter dem „Home Laufwerk“ deines Benutzers speicherst. Diese Daten bleiben nämlich nach deinem Neustart des Containers erhalten.