21. Juni 2012

Import von Google Analytics Daten zu Piwik Analytik mit google2piwik mit der Google API v2.4 und API Key

Geschätzte Lesedauer: 6 Minuten

Wir haben gewechselt. Soll heißen, wir nutzen nun Piwik für unsere Seiten und stellen die Nutzung von Google Analytics ein. Allerdings wollten wir natürlich auf die bisherigen Daten aus Analytics in der neue Statistik-Oberfläche nicht verzichten. Glücklicherweise stellt Google eine API zur verfügung um Daten aus Analytics (und anderen Produkten) auszulesen.

Unter http://clearcode.cc/offer/open-source-projects/google2piwik/ gibt es ein tolles Importskript, das diese Arbeiten übernimmt. Ein Nachteil ist, dass die Version schon etwas älter ist und eine veraltete Version der Google API verwendet. Dies führte bei uns dazu, dass schon nach kurzer Zeit das Abfragenkontingent (Quota) von 10.000 Abfragen erschöpft war.
Die neuere API bietet ganze 50.000 Abfragen pro Tag, wird aber nicht ohne selbst Hand anzulegen vom Importer unterstützt. Daher haben wir selbst ein paar Änderungen vorgenommen, die wir hier mit euch teilen wollen.

Zuerst einmal müssen wir jedoch die Nutzung des Skripts auf dem Server vorbereiten. Ich zeige das Vorgehen anhand einer Debian Squeeze Installation, auf anderen Systemen sollte es ähnlich funktionieren.

Installation der benötigten Software

Zuerst einmal benötigen wir natürlich Python, da es sich beim Importer um ein Pythonskript handelt.

[pastacode lang=“bash“ message=“Kommandozeile“ highlight=““ provider=“manual“]

apt-get install python

[/pastacode]

Weiterhin benötigen wir ein Python Modul für den Datenbankzugriff

[pastacode lang=“bash“ message=“Kommandozeile“ highlight=““ provider=“manual“]

apt-get install python-mysqldb

[/pastacode]

Nun fehlt noch das Python Modul für den Zugriff auf die Google API, die aktuellste Version war zum Zeitpunkt dieses Artikels 2.0.17.

[pastacode lang=“bash“ message=“Kommandozeile“ highlight=““ provider=“manual“]

cd /tmp
wget https://gdata-python-client.googlecode.com/files/gdata-2.0.17.tar.gz
tar xvzf gdata-2.0.17.tar.gz
cd gdata-2.0.17
./setup.py install

[/pastacode]

Anpassung der Module und des Importskripts

Um das Skript und das Modul mit der API v2.4 verwenden zu können sind einige Änderungen am Code notwendig.

Konfigurationsdatei (google2piwik.conf)

Da wir für die neue API einen API Key verwenden müssen, muss dieser auch in die Konfigurationsdatei eingetragen werden.
Hier fügen wir unter den Einträgen

[pastacode lang=“bash“ message=“google2piwik.conf“ highlight=““ provider=“manual“]

[google]
user_login = mail@domain.de
user_pass  = analyticspasswort
table_id   = ga:xxxxxxx

[/pastacode]

Noch den Eintrag

[pastacode lang=“bash“ message=“google2piwik.conf“ highlight=““ provider=“manual“]

api_key = xxxxxxxxxxxxxxxxxxxxxxxx

[/pastacode]

ein (xxxxxxxxxxxxxxxxxxxxxxx ist natürlich euer API Key).

Damit dieser Eintrag auch im Script zur Verfügung steht, müssen wir die Datei config.py anpassen.
Hier fügen wir unter

[pastacode lang=“bash“ message=“config.py“ highlight=““ provider=“manual“]

MYSQL_CREDENTIALS = {}
GOOGLE_USER = ""
GOOGLE_PASS = ""

[/pastacode]

den Eintrag ein:

[pastacode lang=“python“ message=“config.py“ highlight=““ provider=“manual“]

GOOGLE_KEY = ""

[/pastacode]

Weiterhin ändern wir die Zeile

[pastacode lang=“python“ message=“config.py“ highlight=““ provider=“manual“]

global MYSQL_CREDENTIALS, GOOGLE_USER, GOOGLE_PASS

[/pastacode]

[pastacode lang=“python“ message=“config.py“ highlight=““ provider=“manual“]

global MYSQL_CREDENTIALS, GOOGLE_USER, GOOGLE_PASS, GOOGLE_KEY

[/pastacode]

und zum Schluss fügen wir unterhalb von

[pastacode lang=“python“ message=“config.py“ highlight=““ provider=“manual“]

GOOGLE_TABLE_ID = conf.get("google", "table_id")
GOOGLE_USER = conf.get("google", "user_login")
GOOGLE_PASS = conf.get("google", "user_pass")

[/pastacode]

noch ein:

[pastacode lang=“python“ message=“config.py“ highlight=““ provider=“manual“]

GOOGLE_KEY = conf.get("google", "api_key")

[/pastacode]

Hier ist die geänderte Datei zum Download (auf eigene Gefahr): config.py

Änderung des Importskripts

Per default erlaubt das Importskript nur Logins mit einer @gmail.com Adresse. Um dies zu ändern müssen im Script nur die drei Zeilen 577 bis 579 auskommentiert werden:

[pastacode lang=“python“ message=“config.py“ highlight=““ provider=“manual“]

#        if not config.GOOGLE_USER.split("@")[1] == "gmail.com":
#            print "Your e-mail address should be ending with @gmail.com"
#            exit()

[/pastacode]

Nun müssen wir bei den Anfragen an die API den API-Key mit übergeben. Dies geschieht, indem wir einen zusätzlichen Parameter bei der Funktion DataFeedQuery angeben.
Wir ändern also

[pastacode lang=“python“ message=“config.py“ highlight=““ provider=“manual“]

data_query = gdata.analytics.client.DataFeedQuery({
                    'ids': self.table_id,
                    'start-date': day_start,
                    'end-date': day_end,
                    'dimensions': dimensions,
                    'metrics': metrics,
                    'max-results': '10000'})

[/pastacode]

[pastacode lang=“python“ message=“config.py“ highlight=““ provider=“manual“]

data_query = gdata.analytics.client.DataFeedQuery({
                    'ids': self.table_id,
                    'start-date': day_start,
                    'end-date': day_end,
                    'dimensions': dimensions,
                    'metrics': metrics,
                    'max-results': '10000',
                    'key': config.GOOGLE_KEY})

[/pastacode]

Dieser Paremeter muss 2x hinzugefügt werden, einmal zur Funktion in Zeile 471 und einmal in Zeile 482.

Leider funktioniert auch die Abfrage der Table-IDs nicht mehr auf die alte Art. Diese werden für den eigentlichen Import benötigt, damit das Skript weiß welche Daten exportiert werden sollen. Um das Auslesen der Table-IDs wieder zu ermöglichen muss dieser Teil des Skriptes angepasst werden (ca. ab Zeile 518):

[pastacode lang=“python“ message=“config.py“ highlight=““ provider=“manual“]

def PrintTableIDs(self):
    account_query = gdata.analytics.client.AccountFeedQuery()
    table_feed = self.client.GetAccountFeed(account_query)
    print "Google Analytics Table IDs for your Account\n"
    for entry in table_feed.entry:
        print "Site: %30s \t table_id: %s" % (entry.title.text, entry.table_id.text)

[/pastacode]

Der geänderte Codeteil sieht so aus:

[pastacode lang=“python“ message=“config.py“ highlight=““ provider=“manual“]

def PrintTableIDs(self):
     account_query = gdata.analytics.client.ProfileQuery('~all', '~all', {'key': config.GOOGLE_KEY})
     table_feed = self.client.GetManagementFeed(account_query)
     print "Google Analytics Table IDs for your Account\n"
     for entry in table_feed.entry:
         print "Site: %30s \t table_id: %s" % (entry.GetProperty('ga:profileName').value, entry.GetProperty('dxp:tableId').value)

[/pastacode]

Hier ist die geänderte Datei zum Download (auf eigene Gefahr): google2piwik.py

Änderung des Google API Python Moduls

Im Google Modul müssen wir nicht allzu viel ändern, lediglich der Servername (host) und die Pfade für die Abfragen müssen angepasst werden.
Hier die Liste der Änderungen der datei analytics/client.py in Kurzform. Die Datei befindet sich in unserer Installation in /usr/local/lib/python2.6/dist-packages/gdata/analytics/client.py

Zeile 116