Epgfixer konfiguraatiot

VDR ja DVB aiheista keskustelua
hetas
Yli-ihminen
Viestit: 539
Liittynyt: 15.07.2004 3:00
Paikkakunta: Savonlinna

Epgfixer konfiguraatiot

Viesti Kirjoittaja hetas » 03.11.2012 18:40

Ajattelin avata oman ketjun Epgfixer-pluginin konfiguraatiota varten, sen sijaan että kasvattaisi tuota julkaisuketjua.

Vois sitten tähän päivittää muutokset, jos jotain tulee korjattua, muutkin voivat laittaa omia virityksiään esille ja ehdottaa korjauksia.

mall--:n esimerkkien pohalta olen alla olevat regexit väsäillyt. Lähinnä tarkoitus saada sarjoista nimet selville ja shorttext-kenttään. Käytössä suomalaisilla ilmaiskanavilla ja muutamalla maksukanavalla, mitkä on tuolla mainittu erikseen.

regexp.conf, plugin-versio oltava vähintään v0.3.0.
FOX-spesifiset lienee turhia. Jonkun aikaa FOXilla oli title-kentässä jakson nimi mukana, mutta ei taida noita olla enää.

Koodi: Valitse kaikki

# Example of disabled regexp:
#!title=m/^(?:Movie: |Document: )(?<title>.*)$/

# Remove "Movie: " or "Document: " from the beginning of title field for 
# channels 1, 3, 5, 6 and 7:
#1,3,5-7:title=m/^(?:Movie: |Document: )(?<title>.*)$/

# Also channel IDs can be used:
#S19.2E-1-1089-12003-0:title=m/^(?:Movie: |Document: )(?<title>.*)$/

# Move parental rating from end of title to correct EPG field:
# Program title (12)
#title=m/^(?<title>.*)[ ][(](?<rating>[0-9S]{1,2})[)][ ]*$/

# Move parental rating from start of description:
# (12) Lorem ipsum ...
#description=m/^[(](?<rating>[0-9S]{1,2})[)][ ]+(?<description>.*)/

# Replaces every instance of 'foo' with 'bar' in description
#description=s/foo/bar/g

# Matches 'foo' case-insensitively
#description=m/foo/i

# ----------------------------------------------------

# Move parental rating from start of description:
# (12) Lorem ipsum ...
description=m/^\((?<rating>[0-9S]{1,2})\)\s*(?<description>.*)/u
#... or from start of shorttext
shorttext=m/^\((?<rating>[0-9S]{1,2})\)\s*(?<shorttext>.*)/u

#Siirretään lyhyt kuvaus kuvauksen alkuun, jos se vielä tässä vaiheessa löytyy
#Ei hävitä kuvausta.
#shorttext=(?<pdescription>.*)
#description=s/^\s*//gui
#TAI
#Korvataan kuvaus lyhyellä kuvauksella, jos se vielä löytyy.
#Välillä lyhyessä kuvauksessa on info suomeksi ja kuvauksessa ruotsiksi.
#Jos kuvaus sattuisi sisältämään jotain järkevää, se tietysti menetetään
1-999:shorttext=(?<description>.{30,})

#Poistetaan mainostuksia kuvauksen alusta, jottei oteta ohjelman nimeksi
#Muualla tekstissä saavat olla
description=s/^(UUSI |UUTUUS)?SARJA ALKAA( ALUSTA)?[.!]?\s*//ui
description=s/^UUSI (TUOTANTO)?KAUSI ALKAA[.!]?\s*//ui
description=s/^SARJA JATKUU \d+?\. (TUOTANTO)?KAUDEN JAKSOI(N|LLA)[.!]?\s*//ui
description=s/^SARJA PALAA RUUTUUN[.!]?\s*//ui
description=s/^\d+\.? KAUSI (JATKUU|ALKAA)[.!]?\s*//ui
description=s/^SARJA JÄÄ TAUOLLE[.!]?\s*//ui
description=s/^SARJA PALAA TAUOLTA[.!]?\s*//ui
description=s/^SARJA PÄÄTTYY( TÄLLÄ OHJELMAPAIKALLA)?[.!]?\s*//ui
description=s/^OHJELMA ALKAA[.!]?\s*//ui
description=s/^UUDET JAKSOT( ALKAVAT)?[,.!]?\s*//ui
description=s/^UUSI TALKSHOW ALKAA[.!]?\s*//ui
description=s/^Uusia jaksoja[,.!]?\s+//ui

#Poistetaan uusinta-merkinnät
description=s/\s*\(u\)[.\s]*$//ui

#Arvotaan jakson nimi lyhyeksi kuvaukseksi
description=m/^(?<shorttext>(((\d+\. )?[Kk]ausi( \d+\.?)?[ ,.])?(([Jj]akso |[Oo]sa |^)\d+[/\d]*?[.: ])?)?.{1,45}?[!?]?)( \||(?<=[!?])|(?<![ ^Mm](m|r|[A-ZÅÄÖ]))\.(?! [Oo]sa)) (?<description>.*)/u

#Jos jakson nimi on katkaistus liian aikaisin, tai jäänyt asettamatta |-merkkiä käytettäessä, korjataan tilanne tässä.
description=m/^(?<ashorttext>.+?)\s*\|\s*(?<description>.*)/u

#Edellinen saattaa jättää ylimääräisiä välilyöntejä, poistetaan
shorttext=s/(^|\s)\s//gu

#Poistetaan extra |-merkit ja tuplat lopuista
description=s/\s*?\|\s*$//ui
shorttext=s/\s*?\|.*$//ui

#Arvotaan jakson nimi ohjelman nimestä Discoveryllä, Nat Geolla ja MTV Musicilla
#Voi hajottaa joitain nimiä tai lyhyitä kuvauksia
#11,12,16:title=m/^(?<title>.+) - (?<shorttext>.+)/u

#Jakson  nimi, Travel Channel, Nat Geo
12,19:title=m/^(Ensi-ilta )?(?<title>.+): (?<shorttext>.+)/u
12:title=m/^(Ensi-ilta )(?<title>.+)/u

#FOX, kausi ja jakso nimestä, Esim: nimi - S1 E2
9,101:title=m/^(?<title>.+?) (?<pshorttext>[Ss].*?\d+?\s*?-\s*?[Ee].*?\d+?)/u
#FOX, Jakso nimestä, Esim: nimi - Episode 2
9,101:title=m/^(?<title>.+?) - (?<pshorttext>[Ee].*?\d+?)/u

#Käsitellään titlen ikärajamerkintä vasta, kun
#jakson nimi on hävitetty titlestä

# Move parental rating from end of title to correct EPG field:
# Program title (12)
title=m/^(?<title>.*?)\s*\((?<rating>[0-9S]{1,2})\)\s?$/u

#FOX, kausi nimestä, Esim: nimi S3
9,101:title=m/^(?<title>.+?) (?<pshorttext>S\d+?)$/ui

VDR:n setup.conf. MoveLongShortTextToDescription on erityisen tärkeä, koska em. regexit olettaa tämän tehdyksi.

Koodi: Valitse kaikki

epgfixer.FixStreamComponentDescriptions = 1
epgfixer.MoveDescriptionFromShortText = 0
epgfixer.MoveLongShortTextToDescription = 1
epgfixer.PreventEqualShortTextAndDescription = 1
epgfixer.RemoveDoubleQuotesFromShortText = 1
epgfixer.RemoveQuotesFromShortText = 1
epgfixer.RemoveRepeatedTitleFromShortText = 1
epgfixer.RemoveUselessFormatting = 1
epgfixer.ReplaceBackticksWithSingleQuotes = 1
epgfixer.StripHTMLentities = 1
edit:
3.10.2012: Heti tuli korjattavaa kun nämä otti taas esille. Korjattu greedy/ungreedy-virheitä, jotka jättivät ylimääräisiä välilyöntejä kuvakseen.

30.11..2012: Lisätty jakson nimen selvitys ohjelman nimestä MTV Music:lle ja Travel Channelille. MTV käyttää samaa formaattia kuin Discovery, Travel Channelilla jakson nimi on erotettu kaksoispisteellä.

2.12.2012: Uusinta-merkintöjen poisto toimii uudella epgfixer-versiolla

14.1.2013:
- Jakson nimen selvitykseen mukaan |-merkillä descriptionissa eroteltu jakson nimi. Tätä käyttää Discovery ja jotkut muut.
- National Geographic on muuttanu jakson nimen erotinmerkiksi kaksoispisteen.

2.5.2014: Parannuksia |-eroteltujen jakson nimien käsittelyyn. Ainakin Discovery käyttää.
Viimeksi muokannut hetas, 02.05.2013 17:03. Yhteensä muokattu 4 kertaa.

Critter
Yli-ihminen
Viestit: 868
Liittynyt: 16.12.2008 19:25

Re: Epgfixer konfiguraatiot

Viesti Kirjoittaja Critter » 03.11.2012 21:21

MAHTAVUUTTA ! :D
RIP VDR
VU+ DUO2 (OPENVIX 5), 2xDual T2/C viritin, La Digital CI+ CAM, 1 TB HD, LG 60PN650T, Chromecast 2
LG 55UH770V + PS4 + Wetek Play

pjmauno
Havittelija
Viestit: 20
Liittynyt: 05.07.2004 3:00
Paikkakunta: Jyväskylä

Re: Epgfixer konfiguraatiot

Viesti Kirjoittaja pjmauno » 30.11.2012 21:12

Tarjolla olevilla konfiguraatio-riveillä siirretään sivistyneesti Parental Rating asiaankuuluvaan kenttään.

Onkohan mahdollista kopioida tämä parental rating Description kentän loppuun? Esimerkiksi tyyliin
Ikäsuositus = 12

Tämä odotellessa epgsearchista versiota, joka osaisi käyttää ko. kenttää. Epgsearchin mukana tulee apuohjelma createcats, joka kaivelee epg-datasta kuvaus-kentästä toistuvia merkkijonoja, joita voi sitten käyttää hakuehdoissa.

hetas
Yli-ihminen
Viestit: 539
Liittynyt: 15.07.2004 3:00
Paikkakunta: Savonlinna

Re: Epgfixer konfiguraatiot

Viesti Kirjoittaja hetas » 30.11.2012 22:24

Pienellä kikkailulla pitäisi onnistua. Mielestäni tämän pitäisi tehdä tuo mitä haluat, mutta eipä tunnu toimivan:

Koodi: Valitse kaikki

#Lisää ikäsuosituksen kuvauksen loppuun
#
#Lisätään staattinen teksi
title=m/(?<adescription>\([0-9S]{1,2}\))\s?$/u
description=s/\([0-9S]{1,2}\)$/Ikäsuositus = /u
#Lisätään ikäsuositus ohjelman nimestä
title=m/\((?<adescription>[0-9S]{1,2})\)\s?$/u
Tuo korvaus Ikäsuositus-tekstillä ei toimi. Tuossa saattaa bugi epgfixerissä. Pitää yrittää jossain välissä tutkia vähän lisää.

Tämä sen sijaan toimii, mutta lisää vain ikäsuosituksen, ei mitään ylimääräistä tekstiä.

Koodi: Valitse kaikki

#Lisää ikäsuosituksen nimestä kuvauksen loppuun
title=m/(?<adescription>\([0-9S]{1,2}\))\s*$/u
Jos haluat kokelle, niin lisää tuo jälkimmäinen pätkä regexp.conf-tiedoston alkuun

mal--
Isäntä
Viestit: 96
Liittynyt: 13.02.2010 10:54

Re: Epgfixer konfiguraatiot

Viesti Kirjoittaja mal-- » 02.12.2012 0:33

hetas kirjoitti:Pienellä kikkailulla pitäisi onnistua. Mielestäni tämän pitäisi tehdä tuo mitä haluat, mutta eipä tunnu toimivan:

Koodi: Valitse kaikki

title=m/(?<adescription>\([0-9S]{1,2}\))\s?$/u
description=s/\([0-9S]{1,2}\)$/Ikäsuositus = /u
Tuo korvaus Ikäsuositus-tekstillä ei toimi. Tuossa saattaa bugi epgfixerissä. Pitää yrittää jossain välissä tutkia vähän lisää.
Tosiaan ei näytä toimivan tuo jälkimmäinen rivi, eikä mikään muu korvaus kuvauksen loppuun lisätylle tekstille. Selvittelen ongelman syytä.

mal--
Isäntä
Viestit: 96
Liittynyt: 13.02.2010 10:54

Re: Epgfixer konfiguraatiot

Viesti Kirjoittaja mal-- » 02.12.2012 19:33

Bugi on nyt korjattu uusimmassa git-versiossa.

pjmauno
Havittelija
Viestit: 20
Liittynyt: 05.07.2004 3:00
Paikkakunta: Jyväskylä

Re: Epgfixer konfiguraatiot

Viesti Kirjoittaja pjmauno » 03.12.2012 22:48

Juu, nyt voi lisätä tekstiä loppuun. Mallia hieman muokaten lisäsin (lisätyn)tekstin alkuun pari rivinvaihtoa välilyönnin sijaan (Näyttää mukamas paremmalta).

Kiitoksia mainiosta esimerkistä.

mal--
Isäntä
Viestit: 96
Liittynyt: 13.02.2010 10:54

Re: Epgfixer konfiguraatiot

Viesti Kirjoittaja mal-- » 08.12.2012 20:18

Laitan pari omaa regexp-riviä jakoon.

Koodi: Valitse kaikki

# Ikäraja pois kuvauksen alusta
description=^\((?<rating>[0-9S]{1,2})\)[ ]+(?<description>.*)$
# Muut kuvauksen alussa suluissa olevat tekstit lyhyeen kuvaukseen. Sisältää usein alkuperäisen nimen yms.
description=^(?<ashorttext>\(.*?\)) (?<description>.*)$
# Jakson nimi lyhyeen kuvaukseen, huomioi myös järjestysluvut keskellä jakson nimeä
description=^(?<shorttext>((Jakso |Osa |^)\d+[/\d]*?\.)?[^.!?]{1,40}?[!?]?)((?<=[!?])|\.(?! [a-zåäö])) (?<description>.*)$
# Poistetaan pelkästään isolla kirjoitetut huomiotekstit alusta
description=^(?:[A-ZÅÄÖ0-9 ,.-]{4,40})[.!?][ ](?<description>.*)$

hetas
Yli-ihminen
Viestit: 539
Liittynyt: 15.07.2004 3:00
Paikkakunta: Savonlinna

Re: Epgfixer konfiguraatiot

Viesti Kirjoittaja hetas » 14.01.2013 20:33

Lisäilin tuonne conffiin jakson nimen etsimiseen descriptionista, kun se on erotelty |-merkillä muusta tekstistä. Tuli vähän ruma häkki, mutta tuntuisi toimivan kuitenkin.
mal-- kirjoitti: # Poistetaan pelkästään isolla kirjoitetut huomiotekstit alusta
Fiksua.

Yksi välillä vaivaava ongelma on pisteellä päätetyt lyhennykset jakson nimessä, kuten mm., dr., mr., sekä nimikirjaimet, kuten A. Aaltonen. Nuohan aina katkeavat pisteen kohdalta.

Ei noista nyt hirveästi ole haittaa, mutta harmittaa kun en saa noita huomioitua :-)

Olen tuohon omaan kovakoodanutt pari lyhennettä, sekä tuon nimikirjainten käytön. Mutta jostain syystä en saa toimimaan yleispätevämpää tapaa, jolla esim. katsottaisiin, että pistettä edeltävä sana on vähintään kolme merkkiä pitkä. Tuon pitäs olla helppo juttu, mutta kun ei toimi. Olen käytellyt look-aroundeja tuossa regexissäni jonkun verran, se ehkä sotkee asiaa.

Jos joku osaa neuvoa, niin apua otetaan vastaan.

Avatar
svalavuo
Säätäjä
Viestit: 285
Liittynyt: 07.12.2004 3:00
Paikkakunta: Rauma
Viesti:

Re: Epgfixer konfiguraatiot

Viesti Kirjoittaja svalavuo » 31.07.2013 20:47

Tämä ketju oli aivan mahtava!

Koitin noita, mutta:
* Rillit Huurussa tallentui (taas) Rillit Huurussa (S) -kansioon
* Jaksojen nimet sarjatallennuksissa katosivat ja tilalle tuli päivämäärä-kellonaika -kombo

Mikähän mulla meni pieleen? :/

mal--
Isäntä
Viestit: 96
Liittynyt: 13.02.2010 10:54

Re: Epgfixer konfiguraatiot

Viesti Kirjoittaja mal-- » 31.07.2013 21:01

svalavuo kirjoitti:Koitin noita, mutta:
* Rillit Huurussa tallentui (taas) Rillit Huurussa (S) -kansioon
* Jaksojen nimet sarjatallennuksissa katosivat ja tilalle tuli päivämäärä-kellonaika -kombo

Mikähän mulla meni pieleen? :/
Tyhjensitkö epg-datan regexpien muuttamisen jälkeen? Sen voi tehdä epgfixerin setupista. Ilman tyhjennystä ei epg-tiedot välttämättä ehdi päivittyä ennen tallennusta. Näkyykö jaksojen nimet enää ollenkaan epg-tiedoissa? Laitatko kaikki käytössä olevat regexpit vielä niin on helpompi selvittää missä ongelma on.

Avatar
noeikujoo
Yli-ihminen
Viestit: 2156
Liittynyt: 23.08.2004 3:00
Paikkakunta: Kajaani

Re: Epgfixer konfiguraatiot

Viesti Kirjoittaja noeikujoo » 01.08.2013 8:08

svalavuo kirjoitti:* Jaksojen nimet sarjatallennuksissa katosivat ja tilalle tuli päivämäärä-kellonaika -kombo
Tuo johtunee siitä, että epgsearch ottaa jakson nimen lyhyestä kuvauksesta ja sulla on ilmeisesti jossain (vdr:n oma bug fix level tai epgfixerissä) päällä sellainen asetus, joka siirtää lyhyen kuvauksen pitkäksi kuvaukseksi. Epgfixer-pluginia käytettäessä kannattaa tarkistaa, että VDR:n oma epg bug fix level-asetus on "0".

Avatar
svalavuo
Säätäjä
Viestit: 285
Liittynyt: 07.12.2004 3:00
Paikkakunta: Rauma
Viesti:

Re: Epgfixer konfiguraatiot

Viesti Kirjoittaja svalavuo » 01.08.2013 13:14

noeikujoo kirjoitti:
svalavuo kirjoitti:* Jaksojen nimet sarjatallennuksissa katosivat ja tilalle tuli päivämäärä-kellonaika -kombo
Tuo johtunee siitä, että epgsearch ottaa jakson nimen lyhyestä kuvauksesta ja sulla on ilmeisesti jossain (vdr:n oma bug fix level tai epgfixerissä) päällä sellainen asetus, joka siirtää lyhyen kuvauksen pitkäksi kuvaukseksi. Epgfixer-pluginia käytettäessä kannattaa tarkistaa, että VDR:n oma epg bug fix level-asetus on "0".
Katsoin äsken kotona käydessäni tuon ja nolla näyttäisi olevan.
Epgsearch vaan tallentaa nyt kaikki jaksojen uusinnatkin. :(

Avatar
noeikujoo
Yli-ihminen
Viestit: 2156
Liittynyt: 23.08.2004 3:00
Paikkakunta: Kajaani

Re: Epgfixer konfiguraatiot

Viesti Kirjoittaja noeikujoo » 01.08.2013 13:49

svalavuo kirjoitti:Katsoin äsken kotona käydessäni tuon ja nolla näyttäisi olevan. Epgsearch vaan tallentaa nyt kaikki jaksojen uusinnatkin. :(
Epgfixerin asetuksissa päällä joku muu korjaus kuin tuo ikärajan poisto jakson nimestä? Epgsearchin hakuajastimet pitää ehkä luoda sen jälkeen uudestaan, jos muuttelee noita epgfixerin korjausasetuksia tai VDR bug fix leveliä.

Avatar
svalavuo
Säätäjä
Viestit: 285
Liittynyt: 07.12.2004 3:00
Paikkakunta: Rauma
Viesti:

Re: Epgfixer konfiguraatiot

Viesti Kirjoittaja svalavuo » 01.08.2013 14:01

noeikujoo kirjoitti:Epgfixerin asetuksissa päällä joku muu korjaus kuin tuo ikärajan poisto jakson nimestä? Epgsearchin hakuajastimet pitää ehkä luoda sen jälkeen uudestaan, jos muuttelee noita epgfixerin korjausasetuksia tai VDR bug fix leveliä.
regexp.conf:ni:
title=m/^(?:AVA Elokuva: |Elokuva: |Ensi-ilta |Perheleffa: |Toimintatorstai: )(?<title>.*)$

# Move parental rating from end of title to correct EPG field:
# Program title (12)
# title=m/^(?<title>.*)[ ][(](?<rating>[0-9S]{1,2})[)][ ]*$/
title=m/^(?<title>.*)[ ][(](?<rating>[0-9S]{1,2})[)][ ]*$/

# Move parental rating from start of description:
# (12) Lorem ipsum ...
description=m/^\((?<rating>[0-9S]{1,2})\)[ ]+(?<description>.*)

#... or from start of shorttext
shorttext=m/^\((?<rating>[0-9S]{1,2})\)[ ]+(?<shorttext>.*)

#Poistetaan turhia mainostuksia
description=s/(UUSI |UUTUUS)?SARJA ALKAA[.!]? *?/ /gui
description=s/SARJA JATKUU \d+?\. (TUOTANTO)?KAUDEN JAKSOI(N|LLA)[.!]? *?/ /gui
description=s/SARJA PALAA RUUTUUN|\d+\.? KAUSI (JATKUU|ALKAA)[.!]? *?/ /gui
description=s/SARJA JÄÄ TAUOLLE[.!]? *?/ /gui
description=s/SARJA PÄÄTTYY (TÄLLÄ OHJELMAPAIKALLA)?[.!]? *?/ /gui

#Poistetaan whitespace alusta, muualle on mahdollista jäädä ylimääräisiä välilyntejä
description=^\s*(?<description>.*)

setup.conf:ssa:
epgfixer.FixStreamComponentDescriptions = 1
epgfixer.MoveDescriptionFromShortText = 0
epgfixer.MoveLongShortTextToDescription = 1
epgfixer.PreventEqualShortTextAndDescription = 1
epgfixer.RemoveDoubleQuotesFromShortText = 1
epgfixer.RemoveQuotesFromShortText = 1
epgfixer.RemoveRepeatedTitleFromShortText = 1
epgfixer.RemoveUselessFormatting = 1
epgfixer.ReplaceBackticksWithSingleQuotes = 1
epgfixer.StripHTMLentities = 1

Nuo siis about suoraan täältä kopsittuja.

Vastaa Viestiin