Highlights
Die Lucene Match Version wurde von 6.0.0 auf 8.1.1 angehoben. Informationen zu den internen Änderungen bei Lucene zwischen den Versionen gibt es auf der lucene news page.
Das title Feld wird jetzt als Pflichtfeld durchgesetzt. Wenn das Feld fehlt wird es mit einem leeren String gesetzt.
Für jede Sprache wurde das dynamische Feld "*_expanded_autocomplete" hinzugefügt. Das autocomplete Feld hat einen zusätzlichen shingle Filter um autocomplete über zwei Tokens zu ermöglichen.
Die Konfiguration der Synonyme wurde von "ManagedSynonymFilterFactory" auf "ManagedSynonymGraphFilterFactory" geändert. Dies sollte den Umgang mit multi-token Synonymen verbessern. Zitat hierzu aus der Solr Dokumentation: "This filter is a replacement for the Managed Synonym Filter, which produces incorrect graphs for multi-token synonyms".
Die Liste der Sprachen wurden um folgende erweitert:
Das Feld "*_stored_only" ist nun auf 32766 Zeichen begrenzt. Für Inhalte größer als 32766 Zeichen kann das Feld "*_stored_only_big" verwendet werden. Mit dieser Änderung wurde das Feld "original_html_stored_only" in "original_html_stored_only_big" umbenannt.
Es wurde das Feld "*_pnt" hinzugefügt zum Speichern von lat/lon Informationen. Die lat und lon Werte müssen durch ein Komma getrennt werden. Beispiel: "1.23,2.34".
Zum Sortieren und Gruppieren wurde das Feld "*_token" eingeführt. Das Feld ist ähnlich zu "*_sort" aber wandelt den Inhalt nicht zu lowercase.
Eine weitere Variation von Keyword wurde eingeführt mit dem Feld "*_keyword_lc". Das Feld behandelt den Inhalt als Keyword wandelt diesen aber in lowercase um.
Behobene Fehler
| ID | Description |
|---|---|
HP-681 | Der autocomplete Service berücksichtigt nun den neuen keyword lowercase Feldtyp. Wenn ein Feldname mit diesem Typ dem Service übergeben wird, wird kein Sprachabhängiger Suffix angehängt und der Feldname so verwendet wie übergeben. |
Neue Features
| ID | Description |
|---|---|
HP-719 | Betrifft nur cloud: Wenn man die Konfiguration ändert, werden jetzt automatisch die Server und API-Gateway Deployments upgedated. |
HP-658 | Das Operation Manual ist jetzt Teil der SmartSearch-Dokumentation |
HP-635 | Das Schema wurde angepasst auf die Solr Version 8.1.1 |
Neue Features
| ID | Description |
|---|---|
HP-686 | Nur für Cloud-Kunden relevant: Das Docker-Image wurde um den Parameter resetAdminPasswort erweitert um im Falle eines Verlusts des Admin-Passworts schneller reagieren zu können. |
Behobene Fehler
| ID | Description |
|---|---|
HP-677 | PreparedSearches konnten in der Cockpit-Listenansicht nicht gelöscht werden. |
HP-649 | Beim Nutzen der Hotinjection entsprachen die erlaubten Inhalte des Request-Headers "Content-Type" nicht den in der Dokumentation erlaubten Werten. |
Neue Features
| ID | Description |
|---|---|
HP-680 | Die empfohlene ZooKeeper-Version ist nun 3.4.10. |
Behobene Fehler
| ID | Description |
|---|---|
HP-589 | Ein Fehler wurde behoben bei dem in der Bearbeitungsmaske einer PreparedSearch Felder nicht angezeigt wurden, wenn ein referenzierter Datengenerator gelöscht wurde. |
Neue Features
| ID | Description |
|---|---|
HP-650 | Nur für Cloud-Kunden relevant: Die Metriken des API Gateways wurden erweitert. |
HP-647 | Nur für Cloud-Kunden relevant: Die health Indikatoren der Services wurde verbessert. |
HP-597 | Die interne SolrJ Version wurde auf 8.1 angehoben. |
HP-298 | Der Dokumentation wurde ein Kapitel über Monitoring hinzugefügt. |
Behobene Fehler
| ID | Description |
|---|---|
HP-646 | Cloud only: Fix eines Versionsproblems zwischen solr und zookeeper |
Behobene Fehler
| ID | Description |
|---|---|
HP-620 | Ein Problem mit dem Import alter haupia 1 Datengenerator XML-Konfigurationen wurde behoben |
Neue Features
| ID | Description |
|---|---|
HP-600 | Nur für Cloud-Kunden relevant: Hinzufügen eines Prometheus-ServiceMonitors. |
HP-542 | Nur für Cloud-Kunden relevant: Verbesserung der Performanz des API-Gateways durch das Hinzufüges eines Kubernetes HorizontalPodAutoscalers. |
Neue Features
| ID | Description |
|---|---|
HP-607 | Nur für Cloud-Kunden relevant: Zusammenführung der CORS Konfiguration in die application.yml. |
Aktualisierungshinweis
Die Dokumentation wurde um eine Anleitung ergänzt, um die ZooKeeper Komponente auf den neuesten Stand zu bringen.
Die Dokumentation wurde um eine Anleitung ergänzt, um die Solr Komponente auf den neuesten Stand zu bringen.
Behobene Fehler
| ID | Description |
|---|---|
HP-591 | Das Reindex-Tool validiert die Ergebnisse mit der Solr id statt mit der _document_id. |
Neue Features
| ID | Description |
|---|---|
HP-588 | Upgrade auf ZooKeeper 3.5.5. |
HP-572 | Sollte während des Erfassens der Leader-URI die zookeeper-Verbindung invalide werden, so wird nun die zookeeper-Verbindung neu aufgebaut. |
HP-536 | Update auf Java 11 |
HP-300 | Upgrade Pfad für Solr 8. |
Behobene Fehler
| ID | Description |
|---|---|
HP-571 | Beim Nutzen der Java API konnte eine Exception beim Deserialisieren des facet-JSON auftreten. |
Neue Features
| ID | Description |
|---|---|
HP-570 | Beim Erfassen von Daten wird das language Feld jetzt immer auf das ISO 639-1 Sprachkürzel gekürzt also aus "de_DE" wird nur das "de" berücksichtigt. |
HP-559 | Das Reload der collection auf der Datengenratoren Seite funktionierte nicht wegen der Endpunkt ein Alias war. Der Alias wird nun auf die eigentliche Collection aufgelöst. |
Behobene Fehler
| ID | Description |
|---|---|
HP-564 | Bei der Datengenerierung bieten GroovySkript-Enhancer nun die Möglichkeit durch Aufruf der Methode 'setSingleValue' einen Wert am Dokument zu setzen, welcher bisherige Werte des gleichen Keys überschreibt. |
HP-544 | Ein Schrägstrich am Ende von URLs führt bei kanonischen Links nicht mehr zu Problemen. |
Neue Features
| ID | Description |
|---|---|
HP-541 | CORS wurde im API-Gateway konfigurierbar gemacht. |
Behobene Fehler
| ID | Description |
|---|---|
HP-531 | Autocompleteanfragen ergaben nicht immer Vorschläge die zu Suchergebnisse führen. |
Neue Features
| ID | Description |
|---|---|
HP-538 | Metriken sind geschützt (health ist frei erreichbar). |
Behobene Fehler
| ID | Description |
|---|---|
HP-530 | Hinzufügen eines Links zu einem Adaptable Result funktionierte nicht korrekt, und konnte einen Fehler 404 erzeugen. |
HP-513 | Die Werte bei der Filterung mittels Facette können nun auch + Zeichen enthalten. |
HP-502 | Es wurde ein neuer Rückgabewert bei den Facetten der Prepared Search speziell für die Abfrage mittels ULR. |
Neue Features
| ID | Description |
|---|---|
HP-516 | Wird über das GroovyScript in einer PreparedSearch eine Gruppierung aktiviert, so enthält die Antwort nun das Feld 'numRows' für jede Gruppe und gibt die Anzahl der Treffer innerhalb der Gruppe wieder. |
Behobene Fehler
| ID | Description |
|---|---|
HP-506 | Die statistische Auswertung vergangener Suchanfragen konnte scheitern wenn zu viele PreparedSearches ausgewählt waren, und so einen Fehler mit dem Code 500 auslösen. |
Neue Features
| ID | Description |
|---|---|
HP-494 | Die vordefinierten Felder einer neuen PreparedSearch wurden optimiert. |
Behobene Fehler
| ID | Description |
|---|---|
HP-514 | Der Boost-Wert von Dokumenten wurde zum Abfragezeitpunkt nicht korrekt ausgewertet. |
Behobene Fehler
| ID | Description |
|---|---|
HP-510 | Die 'term’s für die Autocomplete-Funktion werden zur Normalisierung in Kleinbuchstaben gewandelt. Dies geschieht nun auch automatisch bei der Abfrage des Autocomplete-REST-Service mit entsprechendem Prefix. |
Neue Features
| ID | Description |
|---|---|
HP-499 | Autocomplete-Probleme bei sehr großen Textmengen wurden behoben: Wenn das content-Feld über alle Dokumente hinweg große Textmengen beinhaltete, konnte dies zu einer Fehlerantwort mit Code 500 führen. |
Aktualisierungshinweis
Wichtige Anpassung der Konfiguration: Bitte fügen sie folgende Konfigurationen der application.yml hinzu, um ein Scheitern der Konfigurationsprüfung beim Start der Applikation zu vermeiden.
management:
health:
ldap:
enabled: false
solr:
enabled: false
Behobene Fehler
| ID | Description |
|---|---|
HP-456 | Bei Facetten-Filtern wurde nicht geprüft ob die Facette auch konfiguriert wurde. Wurde zum Beispiel der Parameter "facet.filter.language=de" übergeben, so wurde immer entsprechend gefiltert, unabhängig von der Konfigration. |
Neue Features
| ID | Description |
|---|---|
HP-416 | Update der internen Abhängigkeiten. |
Behobene Fehler
| ID | Description |
|---|---|
HP-424 | Eine potentiell problematische Generierung von SOLR-Dokumenten-Ids bei Datengenerator-Namen, welche auf Ziffern endeten, konnte in Sonderfällen zu fehlenden Dokumenten in betroffenen Datengeneratoren führen. |
Neue Features
| ID | Description |
|---|---|
HP-288 | Der Status eines zuvor gelöschten Datengenerators wurde vererbt, wenn sein Namen wiederverwendet wurde. |
Behobene Fehler
| ID | Description |
|---|---|
HP-408 | Das Konfigurieren einer 'Mindestanzahl Dokumente zum Löschen' führte im Datengenerator zum Verbleiben alter Dokumente im Index. |
HP-386 | Rechte an einer gelöschten Gruppe waren an neuer Gruppe mit dem selben Namen gesetzt. |
HP-385 | Das Mehrfachlöschen von Gruppen war zeitweise nicht möglich. |
Behobene Fehler
| ID | Description |
|---|---|
HP-275 | Die Fehlercodes und -nachrichten bei falschem Aufruf der Hot-Injection-API sind nun aussagekräftiger und konsistent. |
Neue Features
| ID | Description |
|---|---|
HP-333 | Einige unnötige Cockpitelemente bezüglich externer Crawler wurden entfernt. |
Highlights
SmartSearch kann sich nun an einem mit Basic Authentifizierung abgesicherten Solr anmelden.
Aktualisierungshinweis
Die Konfiguration für die abgesicherte Kommunikation wird in der application.yml vorgenommen. Die entsprechenden Keys sind "solr.auth.username" und "solr.auth.password". Wenn die Kommunikation zwischen haupia und Solr zusätzlich noch auf https umgestellt werden soll, muss der Key "solr.url.scheme" auf den Wert "https" gesetzt werden.
Behobene Fehler
| ID | Description |
|---|---|
HP-387 | Bei der Verwendung von mehreren XML-Seeds konnte es zu Parsing-Fehler kommen, woraufhin nur die letzte Seed-Datei verarbeitet wurde. |
Neue Features
| ID | Description |
|---|---|
HP-343 | Basic Authentifizierung für Kommunikation mit Solr implementiert. |
Behobene Fehler
| ID | Description |
|---|---|
HP-249 | Infinite-Scrolling im Cockpit-Datenbrowser konnte zu Fehlern führen. |
Neue Features
| ID | Description |
|---|---|
HP-104 | User-Experience im Cockpit wurde verbessert. |
Behobene Fehler
| ID | Description |
|---|---|
HP-338 | Beim Aufrufen der Login-Seite konnte es zu einem unkritischen JavaScript-Fehler kommen. |
Highlights
Neben der bisherigen Steuerung der Paginierung über die Parameter 'numRows' und 'page' können nun die Parameterkombinationen 'haupia_start'/'haupia_rows' sowie 'haupia_pageNumber'/'haupia_pageSize' genutzt werden, um seitenweise Ergebnisse von der API abzufragen. Im Falle der Kombination 'haupia_pageNumber'/'haupia_pageSize' sind in der Rückgabe die Information der aktuell angezeigten Seite und Seitengröße sowie die Anzahl der insgesamt vorhandenen Seiten vorhanden.
Behobene Fehler
| ID | Description |
|---|---|
HP-307 | Die Migration einer lokalen Userdatenbank zu Zookeeper konnte unter Umständen wegen Verbindungsproblemen nicht gestartet werden. |
HP-306 | Der 'WWW-Authenticate'-Header fehlte in der Response auf unauthorisierte REST-Anfragen. |
Neue Features
| ID | Description |
|---|---|
HP-170 | Erweiterung der Paginierungsfunktionalität an der Prepared-Search-REST-Api |
Highlights
Mit dieser Version wurde der Storage komplett entfernt. Bisher wurde der Storage verwendet, um während der Datengenerierung die erzeugten Dokumente zwischen den Schritten zwischenzuspeichern. Erst nachdem alle Dokumente in einem Schritt bearbeitet wurden, wurde zum nächsten Schritt gewechselt. Dieses Vorgehen wurde ab dieser Version geändert. Nun durchlaufen alle Dokumente die Schritte unabhängig voneinander. Dadurch wird ein Storage nicht mehr notwendig. Diese Änderung hat eine erheblich geringe Festplattennutzung zur Folge. Zusätzlich wurde die Performance der Datengenerierung hierdurch verbessert, da die IO des Storage wegfällt.
Aktualisierungshinweis
Nach dem Update kann das Verzeichnis "data" aus dem haupia Verzeichnis gelöscht werden.
Durch diese Änderung ergeben sich einige Änderungen im Verhalten von haupia:
Veraltete Enhancer:
Neue Features
| ID | Description |
|---|---|
HP-254 | Entfernung Storage |
Neue Features
| ID | Description |
|---|---|
HP-159 | Datengeneratoren setzen im Bezug auf Logging nun ihren Typ und Namen als Threadname. |
Behobene Fehler
| ID | Description |
|---|---|
HP-274 | Wenn die Daten für ein AdaptableResult ausgefüllt und auf "Übernehmen" geklickt wurde, dann wurde im Firefox die Seite fälschlicherweise neu geladen. |
HP-268 | Wenn während einer Hot-Injection in einem GroovyScript-Enhancer die Methode setBoost auf dem Dokument verwendet wurde, dann konnte das Dokument auf Grund von mehreren Werten im Feld _boost nicht synchronisiert werden. |
Neue Features
| ID | Description |
|---|---|
HP-263 | Support für ältere Browser-Versionen hinzugefügt (inklusive Internet Explorer 11). |
HP-244 | Die Javadoc-Dokumentation der API wird nun mit jedem Release ausgeliefert. |
HP-66 | Optimierung von Logging-Ausgaben. |
Highlights
Spring Boot wurde auf 2.1.4 aktualisiert, um folgendem Problem vorzubeugen: https://pivotal.io/security/cve-2019-3795
Neue Features
| ID | Description |
|---|---|
HP-246 | Update verwendeter Frameworks. |
HP-245 | API JavaDoc Link im Cockpit hinzugefügt |
HP-240 | Alle Listenseiten im Cockpit haben nun eine Standardsortierung vorgegeben. |
Highlights
Es ist nun für jeden User möglich, im Cockpit sein Passwort zu ändern. Zusätzlich hat nun auch der Master-Admin die Möglichkeit das Passwort der User zu Ändern. Um ein Aussperren zu verhindern wurde der Start-Parameter resetAdminPassword eingeführt. Wird der Parameter beim Start gesetzt, wird das Master-Admin Passwort aus der application.yml gelesen und dieser Wert gesetzt.
Neue Features
| ID | Description |
|---|---|
HP-216 | Das Konfigurieren von AdaptableResults verändert nicht mehr die Statistiken. |
HP-142 | Passwörter können jetzt geändert werden. |
Neue Features
| ID | Description |
|---|---|
HP-236 | Die HTML Dokumentation ist nun vom Cockpit aus aufrufbar. |
|
Tags: recommendation, cockpit, update |
Auf den Listenseiten im Cockpit ist es nun möglich nach bestimmten Spalten zu Sortieren. Durch wiederholtes Clicken kann die Reihenfolge geändert oder das sortieren aufgehoben werden.
Neue haupia-Auslieferungen können ab diesem Release beim Update nötige Anpassungen der Solr- sowie zookeeper-Instanzen selbst vornehmen. Details zu diesem Vorgehen sind der Dokumentation zu entnehmen.
Alle Eingabefelder für Groovy-Code im Cockpit sind nun mit ihren zugehörigen Methoden-Signaturen versehen. Dies soll die Entwicklung von Grovy-Skripten erleichtern.
Bisher war es möglich, dem Admin-User die Rechte zum Bearbeiten der Gruppenberechtigungen zu nehmen. Dies hatte zur Folge, dass sich potentiell alle User aussperren ließen. Dies wurde behoben und im Falle der Verwendung von zookeeper als Userdatenpersistierung wird dem Admin-User immer die Berechtigung gegeben, die Gruppenberechtigungen zu bearbeiten.
Der Filter auf der Content Recommendation Listenseite funktioniert jetzt.
Die Buttons zum Speichern der User sind nun konsistent enabled oder disabled.
Die Enhancer-Ansicht innerhalb eines Datengenerators zeigt nun wieder die Elemente zum Verschieben und Entfernen im Titel an.
Es war im Cockpit möglich auf der User Edit Seite den User aus der Gruppe "USERS" zu entfernen. Dies wurde zwar beim Speichern der Änderungen ignoriert irritiert aber in der Darstellung. Der Entfernen Button aus der Gruppe "USERS" wurde entfernt.
|
Tags: Solr ,User Management, LDAP |
|
Es existiert ein Sicherheitslücke in Solr für Versionen vor Solr 7.0, welche aufgrund der genuztten Version 6.5 derzeit auch haupia betrifft: https://issues.apache.org/jira/browse/SOLR-13301 Diese Sicherheitslücke kann bei Zugriff auf die Solr-Instanz für Angriffe genutzt werden. Solr empfiehlt hier als eine Möglichkeit der Absicherung: "Disable the ConfigAPI if not in use, by running Solr with the system property disable.configEdit=true" Um dies zu erreichen, sollte dem Solr-Prozess beim Start die Option
Alternativ kann die Datei
|
Es ist nun möglich, für die User und Gruppen einen LDAP Server (nur lesend) zu verwenden. Als LDAP Server wird OpenLDAP in der Version 2.4.x unterstützt.
Die aktuelle Sprache des Cockpit ist nun in der Sprachauswahl nicht mehr auswählbar und fett markiert.
Beim Anlegen einer Content Recommendation wird nun der notwendige Re-Sync mit dem korrekten Datengeneratoren Namen durchgeführt.
Die URL der content recommendation API wurde der von der prepared search angeglichen. Es wurde die Reihenfolge in der URL von "execute" und dem Namen der content recommendation geändert.
Beim Aufruf der content recommendation REST API mit einer nicht existierenden content recommendation wurde der HTTP Status Code 500 zurück gegeben. Dies wurde behoben und nun wird der HTTP Status Code 404 zurück gegeben.
Wenn die Sprache des Cockpit geändert wurde, wurde diese richtig persistiert, aber in der Session nicht geupdated. Wurde eine neue Seite geladen, war die Sprache wieder wie vorher, erst beim ausloggen und einloggen wurde die Sprache fest übernommen. Dies wurde behoben: Sobald die Sprache geändert wird, wird diese auch in der Session geändert.
Wenn im User Bereich im Cockpit der Filter bei den Gruppen verwendet wurde und dann auf den Users Tab gewechselt wurde, konnte die Userliste nicht mehr angezeigt werden. Dies wurde behoben und beim Wechseln der Tabs wird nun der Filter geleert.
Auf der Gruppen-Editierseite konnte bisher der Admin User nicht mehr aus einer Gruppe entfernt werden. Dies wurde behoben.
Diverse Fehler bei den adaptable results der content recommendations wurden behoben.
|
Tags: |
Die Reihenfolge der konfigurierten Elevations bei den Adatptable Results wurde beim Auslesen des Datensatz nicht beibehalten. Dies wurde behoben.
Wenn bei den Adaptable Results bei den Tokens ein langer String vorhanden war, konnte das Layout brechen. Dies wurde behoben.
Bei einem Aufruf der REST Services mit falschen User Credentials wurde ein 302 auf die Login Seite zurück gegeben. Dies wurde behoben und jetzt wird mit 401 Unauthorized geantwortet.
Bei der Verwendung des Deep Links auf die Statistik Seite wurde der Verbindungstyp zwischen den Tags nicht korrekt gesetzt. Dies wurde behoben.
|
Tags: internal update, users, zookeeper |
Die verwendete Spring Boot Version wurde auf die Version 2.1 erhöht.
Die Userverwaltung speichert die Userdaten nun anstatt in einer lokalen HSQLDB in der Zookeeper-Struktur. Mit dieser Umstellung können nun identische User in mehreren haupia Knoten verwendet werden. Die Migration der Userdaten geschieht automatisch beim ersten Start des haupia-Servers nach dem Update auf diese Version. Nach Abschluß der Migration werden die lokalen Daten automatisch gelöscht.
Mit der Migration der Userverwaltung wurde nun auch das Hot Standby umgesetzt. Weitere Informationen dazu sind in der Dokumentation.
|
Tags: zookeeper, cloud, proxy |
Beim Start des haupia-Servers wird nun auch im zookeeper eine Leader Election und Service Discovery gestartet. Dies ist die Basis um eine Anmeldung mehrerer haupia-Instanzen am zookeeper und deren Verständigung untereinander zu ermöglichen. Sind mehrere Instanzen existent funktionieren die API-REST-Services über alle Instanzen hinweg. Das Ausführen der Datengeneratoren und das Cockpit hingegen sind nur auf dem Leader aktiv. Das Starten als einzelner Knoten oder mehrerer Knoten unterscheidet sich nicht, es ist also keine Konfigurationsänderung notwendig. In einem späteren Release wird noch die Speicherung der Userdaten auf den zookeeper umgezogen. Es wird empfohlen, auf diesen Release zu warten um eine doppelte Pflege der Userdaten zu Umgehen.
Die haupia-Crawler berücksichtigen nun einen potentiell in den JAVA_OPTS konfigurierten Web-Proxy.
|
Tags: GroovySkript, Installation |
Beim Speichern einer PreparedSearch oder eines Datengenerators wird nun geprüft, ob evtl. vorhandene GroovySkripte syntaktisch korrekt sind. Ist dies nicht der Fall, so wird nicht gespeichert und dem User entsprechend Feedback gegeben.
Die Namen von neu angelegten Benutzergruppen können nun unabhängig von Groß-/Kleinschreibung nicht mehr identisch zu schon bestehenden Gruppennamen sein.
Für eine einfachere Installation auf Linux Systemen werden nun Vorlagen für Systemd mit ausgeliefert.
|
Tags: Cockpit, Intern, JDK, Statistics |
Im gesamten Backend können die Werte von numerischen Eingabefeldern nun direkt per Zahleneingabe angepasst werden, statt wie bisher nur in festgelegten Schritten.
Die Spring-Abhängigkeiten wurden geupdated. Diese Updates beinhalten hauptsächlich Bugfixes der verwendeten Frameworks/Bibliotheken. Es sind keine speziellen Updatemaßnahmen notwendig.
Das für haupia empfohlene JDK ist nun OpenJDK in Version 8. https://openjdk.java.net/
Der PreparedSearch-REST-Service wurde um den Parameter "tag" erweitert. Mit diesem kann eine Suchabfrage einer oder mehreren Kategorien zugeordnet werden. Diese Kategorien können in verwendet werden, um Statistiken über ein Subset der Suchabfragen zu bilden.
Die Statistiken wurden um die Möglichkeit von Deep Links erweitert.
Wenn im Filtereingabefeld auf Listenseite Return gedrückt wurde, wurde die Seite neu geladen. Dies wurde behoben.
|
Tags: Internal, Prometheus, Cockpit, Prepared Search Konfiguration, External API |
Die Basis wurde von Spring Boot 1 auf Spring Boot 2 angehoben. Bitte dazu den Migration Guide in dem Operational Manual beachten!
Es gibt nun eine einfache Möglichkeit in der application.yml einen Prometheus Endpoint freizuschalten.
Beim Anlegen einer neuen Gruppe wird nun geprüft, ob die Namen nur valide Zeichen enthält. Valide sind Buchstaben (klein und groß), Zahlen und Bindestrich.
Jars die für die Verwendung der Java Bibliothek verwendet werden erhalten nun automatisiert eine Versionsnummer.
Wurde in einer PreparedSearch ein Datengenerator konfiguriert, brach vor dem ersten Durchlauf des Datengenerators beim Aufruf der Editierseite das Abfragen der Feldnamen ab. Dies führte beim Öffnen zu einer leeren Felderliste, und wurde in diesem Release behoben.
|
Tags: Cockpit |
Die Filter auf den Listenseiten im Cockpit sind nun Funktionsfähig.
Auf der Editierseite eines AdaptableResults gibt es nun die Möglichkeit beim Speichern verwaiste Elevations sowie Exclusions bereinigen zu lassen.
|
Tags: Schema, Spellcheck, Webcrawler, Date Enhancer, Storage, Logging |
Im SOLR Schema wurde das dynamische Feld "\*_sort" hinzugefügt. Damit lassen sich Felder definieren, die zum Sortieren verwendet werden können.
Beim Spellcheck wird nun geprüft, ob eine Sprache existiert. Dies vermeidet folgende Fehlermeldungen: org.apache.solr.common.SolrException: Specified dictionaries do not exist: spellcheck_
Der Date Enhancer versteht nun auch folgendes Format: "Wed Aug 29 20:34:01 +02:00 2018". Dies wird von Tika verwendet und führte zu unnötigen Logmeldungen.
Das Logformat einiger Ausgaben wurde angepasst.
Die Hot-Deletion wurde implementiert, diese dient dazu ein Dokument schnell per API-Aufruf aus dem Index eines Datengenerators zu entfernen.
Der Webcrawler setzt nun den mime type korrekt als Facette.
Das Dropdown zum Einstellen der default Sprache bei den Datengeneratoren hatte bisher Sprachdefinitionen die von 2 Buchstaben abweichen (zum Beispiel zh-cn) nicht berücksichtigt. Dies wurde behoben.
Bei der Verwendung von lokalen Storages kann es bei der Verwendung von Netzlaufwerken dazu kommen dass während des Synchronisationsvorgangs nicht die aktuellste Version eines Dokumentes synchronisiert wird. Um dies zu verhindern wurde der globale Parameter "haupia.storage.cooldown" eingeführt. Mit diesem Parameter wird während der Datengenerierung dem Storage die konfigurierte Zahl an Millisekunden gelassen um die Änderungen zu speichern. In der Standardkonfiguration ist der Wert 0 Millisekunden.
|
Tags: External API, Taglib, Netzwerk Timeout, Logging, Storage, Prepared Search |
REST Services und Dokumentation für die externen Datengeneratoren wurde hinzugefügt.
Die Taglib wurde um weitere Tags erweitert die für die Migration von haupia 1 noch benötigt wurden. Die Dokumentation für die Taglib wurde komplett neu geschrieben.
Der REST Aufruf der Prepared Search wurde um den Parameter "page" erweitert.
Das default Logging wurde überarbeitet. Per default erfolgt nun die Logausgabe in rotierenden Dateien.
Es wurden Endpunkte zur Überwachung der Applikationsgesundheit verfügbar gemacht. Weitere Informationen siehe Betriebshandbuch.
Das Verhalten des Webcrawlers wurde dahingehend angepasst, dass eine serverseitige Umleitung von http auf https beim Aufruf einer initialen Sitemap hingenommen wird. Somit kann die URL nun sowohl als http- als auch als https-URL gepflegt werden.
Wenn beim Aufruf einer Prepared Search in der Solr Query eine Gruppierung verwendet wurde, wird dies nun im Ergebnis auf das Feld "groups" gemapped.
Den AdaptableResults wurde die Möglichkeit hinzugefügt, Ergebnisse aus der konfigurierten PreparedSearch unabhängig vom Suchbegriff der Ergebnisliste hinzuzufügen.
Die REST-API wurde um die Möglichkeit erweitert, ein Dokument direkt aus dem Index eines Datengenrators zu entfernen (Hot Deletion). ==== Bugfix
Beim Download von Ressourcen wurde der Timeout bisher nicht berücksichtigt. Dies wurde nun behoben.
Nach einer erfolgreichen Datengenerierung werden die alten Storages gelöscht. Dabei wurden bisher die alten Dokumente in den Speicher geladen was zu einem OOM führen konnte und die Datengenerierung sofort abbrach. Dies wurde nun behoben.
Wenn beim Aufruf einer Prepared Search in der Solr Query eine Gruppierung verwendet wurde, wurde eine Exception geworfen. Dies wurde nun behoben.
|
Tags: Cockpit, Sprachen |
Es ist nun möglich im Cockpit zwischen den Sprachen Deutsch und Englisch zu wählen. Die Auswahl wird automatisch im Profil gespeichert und beim nächsten Login verwendet. Sollte im Profil noch keine Sprache eingestellt oder diese ungültig sein, so wird die konfigurierte Sprache des Browsers verwendet. Konnte auch hier keine gültige Sprache festgestellt werden wird Englisch verwendet.
Es wurden neue Sprachen hinzugefügt: Litauisch und Serbisch.
Es wurde ein Fehler behoben welcher bei Datengeneratoren welche die gleichen Seiten crawlen zu Anzeigeproblemen geführt hat. Teilweise wurde die Daten der Seiten angezeigt, die der älteste Datengenerator angelegt hatte, auch wenn ein anderer Datengenerator ausgewählt wurde.
Ein Fehler beim Spellcheck bei der Wildcardsuche wurde behoben.
Die Dokumentation wurde erweitert (z.B. um das Thema Highlighting).
Im Bereich der Datengenerierung wurde das Logging angepasst, um sprechendere Loggingausgaben auf niedrigeren Logleveln zu erzeugen.
Die Abfrage gegen den SOLR wurde von GET auf POST umgestellt. Bei Abfragen mit vielen Sprachen konnte es auf Grund der Anzahl der Felder zu zu langen URLs kommen. Dies wurde behoben.
|
Tags: Local Storage |
Beim löschen eines Storages wurde bisher nur der Eintrag in der Meta Daten Tabelle zu den Storages gelöscht. Jetzt wird zusätzlich auch die zugehörigen Einträge in der Dokumenten Tabelle gelöscht.
|
Tags: Local Storage |
Nach dem Löschen wird nun auch ein CHECKPOINT DEFRAG aufgerufen um den Festplattenplatz auch wieder frei zu geben.
|
Tags: Stopwords |
Die Standard Stopwörter von Sprachen mit mehr als 2 Zeichen in der Abkürzung (zh_tw und zh_cn) wurden nicht importiert. Dies wurde nun behoben.
|
Tags: Hot Injection, Direct Commit, *Rest API+ |
Hot-Injection: Die Hot-Injection dient dazu, einzelne Daten schnell und isoliert in den Index zu übertragen. Hierzu ist ein neuer REST-Endpunkt verfügbar.
Direkter Commit: Im Backend ist für Mitglieder der Admin-Gruppe ein Knopf verfügbar welcher die flüchtigen Daten direkt an den SOLR-Server Überträgt.
Die REST-API ist aus Performancegründen nun stateless.
Synonyme ignorieren nun Groß- und Kleinschreibung.
|
Tags: Prepared Searches, Spellcheck |
Der Spellcheck berücksichtig nun die Sprachen. Werden bei einer Suchanfrage mehrere Sprachen verwendet, werden Vorschläge über alle Sprachen gebildet und nach Treffer im Index sortiert.
|
Tags: XML Sitemap |
Sitemap-XML-Dateien (und Sitemap-Index-XML-Dateien) werden nun im Kontext des Webcrawlers automatisch erkannt sowie abgearbeitet. Aus dem Frontend wurden die entsprechenden, nun unnötigen Konfigurationsflags an den Datengeneratoren entfernt.
Die Statistik-Anforderungsmaske validiert nun die eingegeben Daten auf sinnhafte Eingaben (Startzeitpunkt vor Endzeitpunkt, Endzeitpunkt nicht in der Zukunft)
Die Funktion 'Autocomplete' beachtet nun die für die Sprache konfigurierten Stopwords und Synonyme.
Die Auswahl "Neues Storage erstellen" bei der Datengenerierung hat nun den gewünschten Effekt. Der Webcrawler respektiert nun bei entsprechender Konfiguration die robots.txt. Das Hinzufügen einer Facette innerhalb eines Groovy-Enhancers funktioniert nun.
|
Tags: Webcrawler, Migration |
Implementierung von Spracherkennung aus HTML-Tags basierend auf der in der Dokumentation vermerkten Reihenfolge.
Beim Import von Prepared Searches wurde fehlerhaft im Feld der Datageneratoren die Return Fields gesetzt. Dies wurde behoben.
|
Tags: ACL, Statistik |
Implementierung von Mehrfachauswahl und -löschen auf Listenseiten bezüglich Usern und Usergruppen.
Implementierung des Downloads von Auswertungen als CSV auf der Statistikseite. In der zur Verfügung stehenden Datei stehen für den gewählten Zeitraum:
Implementierung eines Sicherheitsmechanismus, durch welchen der User 'admin' sowie die Gruppe 'admin' nicht mehr aus dem System zu entfernen ist. So ist ein Aussperren aus dem System verhindert. User in der Gruppe 'admin' können dieser nach wie vor zugeweisen und aus ihr entfernt werden.
Behebung von Fehlern beim Deaktivieren/Auswählen von Elementen auf der Benutzer- sowie Gruppenansicht.
|
Tags: Breadcrumb, Content Recommendation, AdaptableResult, Datengeneratoren |
Implementierung der Breadcrumb-Funktionalität auf allen Listen- und Detailansichten des Backends. Hierdurch wurde eine intuitivere Navigationsmöglichkeit zwischen Listen- und Detailansichten geschaffen.
Bei Erstellen einer ContentRecommendation stehen nun die verfügbaren PreparedSearches als Dropdown zur Verfügung und müssen nicht wie bisher als Freitext eingegeben werden.
Beim Editieren eines AdaptableResults können nun beliebig viele Treffer nachgeladen werden um die Anpassungsmöglichkeiten per Elevations und Excludes zu erweitern.
Behebung von Fehlern bei der Auswertung der Datengenerator-Konfiguration, die zur Nichtbeachtung der Mindestanzahl von Dokumenten welche zur Synchronisation nötig sind geführt haben.
Behebung von Fehlern beim Speichern der Datengenerator-Konfiguration, die zur Nichtausführung bei wöchentlichen Startzeitpunkten geführt haben.
Behebung eines Fehlers der bei Nichtauswahl eines Datengenerators in einer PreparedSearch-Konfiguration die Daten aller Datengeneratoren durchsucht hat.
Behebung von Fehlern beim Speichern der Datengenerator-Konfiguration, die zur Nichtbeachtung der Enhancer-Reihenfolge geführt haben.
Behebung eines Fehlers an der ContentRecommendation-REST-Schnittstelle.
|
Tags: Spracherkennung |
Verbesserung der automatischen Spracherkennung bei Datengeneratoren.
Behebung von Fehlern beim Editieren, Speichern und Zurücksetzen von Elevations und Excludes an einem AdaptableResult.
|
Tags: Testing |
Anpassung des internen Testframeworks.
Behebung von Anzeigefehlern in der Datengenerator-Listenansicht und der Statistik-Ansicht.
|
Tags: PartialMatch, Testing |
Update verschiedener interner Abhängigkeiten.
Anpassung des internen Testframeworks.
Generische Textfelder (ohne Sprachbehandlung) werden mit einem eigenen Filter behandelt um die Möglichkeit einer PartialMatch-Suche zu haben. Somit ist auf diesen Feldern eine Suche nach Wortbestandteilen möglich.
Die Wildcard-Suche mittels "*" als Querybestandteil ist somit nicht mehr unterstützt.
|
Tags: GroovyScript, AdaptableResult |
Möglichkeit der Validierung von GroovyScript im Backend implementiert.
Fehler beim Editieren eines bestehenden AdaptableResults behoben.
|
Tags: Bugfixes, Internationalisierung, Prepared Search, Datengeneratoren |
|
Es werden ab dieser Version spezielle jars im Classpath auf dem SOLRCloud-Server benötigt. Diese jars sind im SOLRCloud-Download enthalten (Verzeichnis 'contrib') müssen aber von Hand in den Classpath verschoben werden. Diese jars sind:
|
Es wurden weitere Sprachen in der Konfiguration hinzugefügt:
Zu allen Sprachen wurde auch eine Default Stopwordliste hinzugefügt und getestet ob die automatische Erkennung funktioniert.
Wichtig: Diese Konfiguration funktioniert nur, wenn die SOLRCloud-Installation folgende jars im Classpath besitzt:
Das Feld 'content' wurde als deustches Feld behandelt. Dies wurde behoben und wird nun wie die anderen Textfelder auch, wie ein Textfeld ohne Sprachverarbeitung behandelt.
Die Anzeige beim Konfigurieren der Mindestanzahl an Treffer bei der Facette war im Fall des Wertes 0 falsch. In diesem Fall wurde funktionial der Wert 0 verwendet, die Anzeige im numerischen Feld war aber 1. Dies wurde behoben.
Der Threadpool zum Starten von Datengeneratoren wurde bisher nicht ausreichend verwendet und so nur ein Datengenerator ausgeführt (im Gegensatz zu parallelem Lauf). Dieses wurde behoben und jetzt wird die konfigurierte Anzahl an Threads und damit parallelen Datengeneratoren verwendet.
|
Tags: Statistiken, Synonyme |
Die Anzeige der Statistiken wurde um eine zweite Sortierung erweitert. Zunächst werden die Top-Suchbegriffe nach Anzahl der Suchen sortiert, und daraufhin alphabetisch.
Die Editierseite für die Synonyme wurde freigegeben. Diese wurden umgestellt auf die Unterstützugn der einzelnen Sprachen.
|
Tags: Spracherkennung, Prepared Search |
Das Erkennen der Sprache anhand des Textes im Content basiert auf einer statistischen Datenbasis. Diese wurde unter Umständen beim Starten von haupia nicht eingelesen und damit konnte die Sprache nicht erkannt werden und es wurde immer der konfigurierte Fallback verwendet. Aus diesem Grund wurde die Datenbasis in den 'shared resources '-Bereich verlagert und wird dort beim Starten eingelesen.
Wenn bei einer Suche ein leerer String an den PreparedSearch-REST-Service übergeben wurde hat das bisher einen Fehler '500' ausgelöst. Dies wurde jetzt auf einen 400er (Bad Request) geändert mit einem leeren Suchergebnis im Body.
Die Übergabe eines leeren Suchbegriffs an den PreparedSearch-REST-Service löste bisher einen Fehler '500 - Internal Server Error' aus. Nun wird hierauf mit dem Fehler '400 - Bad Request' und einem leeren Suchergebnis geantwortet.
|
Tags: intern |
Nur interne Änderungen.
|
Tags: intern |
Nur interne Änderungen.
|
Tags: Browser, Logging, Prepared Search Konfiguration, Datengenerator Konfiguration |
Der Browser im Backend wurde komplett überarbeitet. Das Layout wurde vereinfacht und alle Buttons sind nun voll funktionsfähig. Die Liste mit den Dokumenten lädt nun automatisch nach, wenn man Nahe dem Ende ist.
Beim Starten wurden WARN Meldungen bzgl. von HQL Abfragen ausgegeben. Diese wurden behoben.
Die Eingabe des Namens bei den PreparedSearches und Datengeneratoren akzeptiert nun keine Leerzeichen mehr.
Die SOLR-Collection für die statistische Erhebung wurde auf eine verträglichere Namenskonvention umgestellt.
Ein Mechanismus zur Vermeidung vom Problemen bei der Nutzung verschiedener SOLR-Versionen wurde implementiert.
|
Tags: Internationalisierung, Sonderzeichen |
Bei der Synchronisierung wird nun geprüft, welcher Art ein Feld ist und gegebenenfalls internationalisiert. Alle Textfelder sind somit internationalisiert.
Spezielle Sonderzeichen werden nun vor dem Tokenizer maskiert, um diese als Inhaltliches Zeichen zu erhalten. Diese Sonderzeichen sind:
|
Tags: Autocomplete, Internationalisierung, Did you mean |
Das Autocomplete unterstützt nun auch den Parameter 'language'.
Die Funktion 'Did you mean' berücksichtigt nun alle Filter, die bei der Abfrage verwendet worden sind. Dadurch werden nur Vorschläge zurückgegeben, die bei Berücksichtigung der aktuellen Filter Ergebnisse liefern. So werden auch die Sprachfilter automatisch unterstützt.
|
Tags: ContentRecommendation Konfiguration |
Überarbeitung der Handhabung von ContentRecommendations. Alle Komponenten wurden überarbeitet, um einen einfacheren Ablauf beim Konfigurieren von ContentRecommendations zu ermöglichen.
|
Tags: Multi-Cluster Sync, Prepared Search Konfiguration |
Ein Fehler beim Paginieren während der Synchronisation wurde behoben. Es wurde ein Fehler behoben der dafür sorgen konnte, dass nicht mehr als 1000 Elemente pro Datengenerator synchronisiert werden konnten.
Auf der PreparedSearch-Editierseite wurde bei der Auswahl der Felder die Checkbox "verbose" hinzugefügt. Ist diese angewählt werden alle Felder zur Auswahl angezeigt. Ist diese abgewählt wird nur ein Subset angezeigt und selten verwendete Felder ausgeblendet.
|
Tags: intern |
Nur interne Änderungen.
|
Tags: Internationalisierung, Datagenerator WEB |
Im Schema konfigurierte Sprachen werden nun automatisch erkannt. Diese müssen sich bei der Benamung an den folgenden regulären Audruck halten: "^text_general_([a-z]{2})". Der 'Typename' beginnt mit "text_general_" gefolgt von der Länderkennung, bestehend aus zwei Buchstaben. Auf der Datengenerator-Konfigurationsseite werden die Sprachen als mögliche Werte für die Standardsprache des Datengenerators angeboten.
Die default schema.xml wurde um folgende Sprachen erweitert:
Beim Erfassen einer Webseite durch den Webcrawler wird der Inhalt des erfassten 'title' nicht mehr dem erfassten 'content' vorangestellt. Der 'content' besteht damit nur mehr aus Inhalten aus dem 'body' des Dokuments.
|
Tags: Stopwörter, Internationalisierung |
Es können nun Stopwörter bezogen auf die internationalisierten Felder im Backend bearbeitet werden.
|
Tags: Groovy, Prepared Search Konfiguration |
Die Frontendkomponente zur Anzeige der Groovy-Skripte wurde komplett überarbeitet und zeigt nun zuverlässig das Skript an.
Bei der PreparedSearch-Konfiguration werden die internationalisierten Felder zusammengefasst und nur als ein Feld angezeigt.
Der Technical Support der e-Spirit AG bietet Kunden und Partnern qualifizierte technische Unterstützung zu allen Themen, die FirstSpirit™ als Produkt betreffen. Weitere Hilfe zu vielen relevanten Themen erhalten und finden Sie in auch in unserer Community.