Rspamd und fuzzy
Florian Ruhnke
forum at ruhnke.cloud
Do Mär 14 13:49:47 CET 2019
Moin,
dann war es ein Gedankenfehler von mir.
Danke für die Info. Meine Idee war, das Fuzzy vllt besser arbeitet als Bayes, aber dann sehe ich es jetzt nur noch als parallelen Filter zur Erweiterung des Antispam-Kampfes.
Wenn ich (aufgrund der geringen Größe des Mailservers) so was auf community-based suche, von dem ich bisher dachte, dass da Fuzzy die Lösung wäre.
Soweit ich es jetzt verstanden habe, kann Fuzzy gegen Spam-Wellen funktionieren, wenn genügend Positiv-Meldungen eingehen, bevor die Welle wieder vorbei ist, richtig?
Vllt mal über neuronetwork nachdenken...
Gruß
Florian
Am 7. März 2019 08:17:46 MEZ schrieb Carsten Rosenberg <cr at ncxs.de>:
>Hey,
>
>FUZZY_UNKNOWN ist ein Symbol an den sich der Callback des Plugins dran
>hängt und normalerweise nicht angezeigt wird.
>
>Um das FUZZY_UNKNOWN zu bekommen, müsste ein nicht definiertes flag aus
>der fuzzy_map zurück geliefert werden und skip_unknown = false gesetzt
>sein.
>
>Wenn du also skip_unknown = false setzt und z.B. FUZZY_DENIED
>auskommentierst bekommst du bei einem Hit vom eigentlichen FUZZY_DENIED
>(flag 1) das FUZZY_UNKNOWN, da es nicht zugeordnet werden kann.
>
>> Hin und wieder wird eine angelernte Adresse mit "LOCAL_FUZZY_WHITE"
>
>Fuzzy ist eine Art Text Pattern matching und File Hashing. Es wirkt
>also
>auf den Inhalt und nicht auf eine Adresse.
>
>viele Grüße
>
>Carsten
>
>On 06.03.19 21:51, Florian Ruhnke wrote:
>> Sorry für die jetzt doof formatierte Mail, schreib gerade übers
>Smartphone.
>>
>> min_bytes habe ich schon auf 100 runter gesetzt, min_length habe ich
>> noch gar nicht probiert.
>>
>> Hier mal ein configdump, habe allerdings _alles_ als json schreiben
>> lassen und dann nach fuzzy aussortiert (und dabei hoffentlich keine
>> Klammern falsch gelöscht, Smartphone halt). Die mime_types
>resultieren
>> aus verschiedenen Versuchen, ihn doch noch zu überreden. Bis heute
>> morgen war nur * drin. Ebenso retransmits und timeout.
>>
>> {
>> "fuzzy_check": {
>> "retransmits": 7,
>> "rule": {
>> "FUZZY_CUSTOM": {
>> "min_width": 100,
>> "symbol": "LOCAL_FUZZY_UNKNOWN",
>> "mime_types": [
>> "*",
>> "application/*",
>> "text/*",
>> "text/html",
>> "text/plain",
>> "*/*",
>> "image/*"
>> ],
>> "fuzzy_map": {
>> "LOCAL_FUZZY_DENIED": {
>> "flag": 11,
>> "max_score": 20
>> },
>> "LOCAL_FUZZY_WHITE": {
>> "flag": 13,
>> "max_score": 2
>> },
>> "LOCAL_FUZZY_PROB": {
>> "flag": 12,
>> "max_score": 10
>> }
>> },
>> "min_height": 100,
>> "short_text_direct_hash": true,
>> "max_score": 20,
>> "skip_unknown": true,
>> "read_only": false,
>> "algorithm": "mumhash",
>> "servers": "127.0.0.1:11335"
>> },
>> "rspamd.com": {
>> "symbol": "FUZZY_UNKNOWN",
>> "mime_types": [
>> "*"
>> ],
>> "encryption_key":
>"icy63itbhhni8bq15ntp5n5symuixf73s1kpjh6skaq4e7nx5fiy",
>> "read_only": true,
>> "fuzzy_map": {
>> "FUZZY_PROB": {
>> "flag": 2,
>> "max_score": 10
>> },
>> "FUZZY_DENIED": {
>> "flag": 1,
>> "max_score": 20
>> },
>> "FUZZY_WHITE": {
>> "flag": 3,
>> "max_score": 2
>> }
>> },
>> "max_score": 20,
>> "short_text_direct_hash": true,
>> "skip_unknown": true,
>> "algorithm": "mumhash",
>> "servers":
>"round-robin:fuzzy1.rspamd.com:11335,fuzzy2.rspamd.com:11335"
>> }
>> },
>> "timeout": 20,
>> "min_bytes": 100
>> },
>> "group": {
>> "fuzzy": {
>> "symbols": {
>> "LOCAL_FUZZY_UNKNOWN": {
>> "description": "Generic fuzzy hash match, local",
>> "weight": 5
>> },
>> "LOCAL_FUZZY_WHITE": {
>> "description": "Whitelisted fuzzy hash, local",
>> "weight": -2.100000
>> },
>> "FUZZY_DENIED": {
>> "description": "Denied fuzzy hash, bl.rspamd.com",
>> "weight": 12
>> },
>> "FUZZY_WHITE": {
>> "description": "Whitelisted fuzzy hash, bl.rspamd.com",
>> "weight": -2.100000
>> },
>> "FUZZY_UNKNOWN": {
>> "description": "Generic fuzzy hash match, bl.rspamd.com",
>> "weight": 5
>> },
>> "FUZZY_PROB": {
>> "description": "Probable fuzzy hash, bl.rspamd.com",
>> "weight": 5
>> },
>> "LOCAL_FUZZY_PROB": {
>> "description": "Probable fuzzy hash, local",
>> "weight": 5
>> },
>> "LOCAL_FUZZY_DENIED": {
>> "description": "Denied fuzzy hash, local",
>> "weight": 12
>> }
>> },
>> "max_score": 20
>> }
>> },
>> "worker": [
>> {
>> "fuzzy": {
>> "backend": "redis",
>> "expire": 15552000,
>> "sync": 60,
>> "allow_update": "127.0.0.1, [::1]",
>> "db": "2",
>> "enabled": true,
>> "bind_socket": "localhost:11335",
>> "count": 2
>> }
>> }
>> ],
>> "milter_headers": {
>> "extended_spam_headers": true,
>> "use": [
>> "x-spamd-bar",
>> "x-spam-level",
>> "authentication-results",
>> "x-spamd-result",
>> "x-rspamd-server",
>> "x-rspamd-queue-id",
>> "fuzzy-hashes",
>> "stat-signature"
>> ],
>> "routines": {
>> "fuzzy-hashes": {
>> "header": "X-Rspamd-Fuzzy"
>> },
>> }
>> },
>> "options": {
>> "filters": "chartable,dkim,spf,surbl,regexp,fuzzy_check",
>> }
>>
>>
>>
>> Am 6. März 2019 17:23:26 MEZ schrieb Alex JOST
><jost+lists at dimejo.at>:
>>
>> Am 06.03.2019 um 16:50 schrieb Florian Ruhnke:
>>
>> Moin,
>>
>> ich habe da mal eine Frage zu fuzzy_check, vielleicht ist das
>> auch ein Verständnisproblem.
>>
>> Soweit ich die Config verstanden habe, soll bei einem
>> "neutralen" resp. unbekannten Ergebnis das Symbol
>> "FUZZY_UNKNOWN" geliefert werden. Bei meiner Config wird aber
>> nix geliefert.
>> Definiert sind der Standardserver rspamd.com und ein lokaler
>Server.
>>
>> Hin und wieder wird eine angelernte Adresse mit
>> "LOCAL_FUZZY_WHITE" gemeldet, aber auch nicht immer.
>> Was mich auch irritiert ist, dass absolute Müllmails nicht
>mal
>> von rspamd.com ein denied bekommen, oder wenigstens ein prob.
>>
>> In der logging.inc habe ich Debug auf fuzzy_backend,
>fuzzy_check
>> und fuzzy_process_handler, aber bei einer ankommenden Mail
>> taucht nix mit Fuzzy im log auf.
>> Wenn ich manuell das Spam-Postfach anlernen will, überschlägt
>> sich das log mit "no content to generate fuzzy", was ich auch
>> nicht nachvollziehen kann...
>>
>>
>> Klingt mal so, als ob es nicht genug Inhalt zum Bewerten gäbe.
>Wie groß
>> bzw. lang sind denn die E-Mails und was hast Du bei 'min_length'
>und
>> 'min_bytes' gesetzt?
>>
>>
>> Falls meine config hilft, schieb ich die hier gern rein (dann
>> als Anlage oder im Text?)
>>
>>
>> Konfiguration kann nie schaden :)
>>
>> rspamadm configdump fuzzy_check
>>
>>
>> --
>> Diese Nachricht wurde von meinem Android-Gerät mit K-9 Mail gesendet.
--
Diese Nachricht wurde von meinem Android-Gerät mit K-9 Mail gesendet.
-------------- nächster Teil --------------
Ein Dateianhang mit HTML-Daten wurde abgetrennt...
URL: <https://listi.jpberlin.de/pipermail/postfixbuch-users/attachments/20190314/314087a0/attachment-0001.html>
Mehr Informationen über die Mailingliste Postfixbuch-users