Skripti ylen sarjojen tallennukseen

Yleiset ongelmat, ohjelmien kääntäminen, kernel, lirc jne.

Re: Skripti ylen sarjojen tallennukseen

ViestiKirjoittaja diudiu » 05.10.2015 10:38

Kuppilat kuntoon, Jyrki Sukula!
1 Osa 2 (kausi 3): Ravintola konkurssiuhan alla Heinolassa. Sukula saa....
Valitse tallennettavat jaksot: 1
(2210226: EI SAATAVILLA)

From https://github.com/an7oine/vhs
* [new tag] v1.3.5 -> v1.3.5
Already up-to-date.
Ja atomicparsley versio: 0.9.6-hg109.9183fff907bf-0ppa3~precise
diudiu
Harrastaja
 
Viestit: 47
Liittynyt: 30.04.2015 0:35

Re: Skripti ylen sarjojen tallennukseen

ViestiKirjoittaja antoine » 05.10.2015 10:58

Jaa-a. Lisää nyt vaikka riville 465 komento 'set -x' ja aja uudestaan. Katsotaan mitä se pukkaa.
tvheadend @arch linux @rpi → itunes @imac → apple tv
antoine
Asiantuntija
 
Viestit: 129
Liittynyt: 20.04.2009 18:29
Paikkakunta: Hämeenkyrö

Re: Skripti ylen sarjojen tallennukseen

ViestiKirjoittaja diudiu » 05.10.2015 11:26

Tämmöistä pukkaa:
Koodi: Valitse kaikki
++ get-xml-field //Playerdata/Clip/BitRateLabels/map bitrate
++ local path
++ path=//Playerdata/Clip/BitRateLabels/map/@bitrate
++ xpath //Playerdata/Clip/BitRateLabels/map/@bitrate
++ sed 's/[^"]*"\([^"]*\)"/\1 /g'
+ bitrates=
++ get-xml-content //Playerdata/Clip/HTTPMediaFiles/HTTPMediaFile
++ sed 's/_[0-9]*\(_[^_]*.mp4\)/_@@@@\1/'
++ local path
++ path=//Playerdata/Clip/HTTPMediaFiles/HTTPMediaFile
++ xpath //Playerdata/Clip/HTTPMediaFiles/HTTPMediaFile
++ sed 's/<[^<]*>//g'
+ source=
+ '[' -n '' ']'
+ return 10
+ case $? in
+ echo '(2210226: EI SAATAVILLA)'
+ rm -f '/home/xxx/.vhs/Kuppilat kuntoon, Jyrki Sukula!/2210226.done'
(2210226: EI SAATAVILLA)
Viimeksi muokannut diudiu päivämäärä 05.10.2015 12:35, muokattu yhteensä 1 kerran
diudiu
Harrastaja
 
Viestit: 47
Liittynyt: 30.04.2015 0:35

Re: Skripti ylen sarjojen tallennukseen

ViestiKirjoittaja antoine » 05.10.2015 11:48

Vika on näemmä tuossa xpathissa, joka ei poimi omasta syötteestään mitään. Ehkä sekin vaatisi uudempaa versiota.

Vaihdapa muuten vielä se set-komento muutaman rivin ylemmäksi, riville 462.
tvheadend @arch linux @rpi → itunes @imac → apple tv
antoine
Asiantuntija
 
Viestit: 129
Liittynyt: 20.04.2009 18:29
Paikkakunta: Hämeenkyrö

Re: Skripti ylen sarjojen tallennukseen

ViestiKirjoittaja diudiu » 05.10.2015 12:22

Tässä lisää törkyä:
Koodi: Valitse kaikki
Valitse tallennettavat jaksot: 1
+ epid=2210226
++ cached-get 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_2) AppleWebKit/600.3.10 (KHTML, like Gecko) Version/8.0.3 Safari/600.3.10' 'http://gatling.ruutu.fi/media-xml-cache?id=2210226'
++ local user_agent url cache
++ iconv -f ISO-8859-1
++ user_agent='Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_2) AppleWebKit/600.3.10 (KHTML, like Gecko) Version/8.0.3 Safari/600.3.10'
++ url='http://gatling.ruutu.fi/media-xml-cache?id=2210226'
++ cache=/home/xxx/Movies/vhs/.vhs.CHe6/cache/http---gatling-ruutu-fi-media-xml-cache-id-2210226
++ cat /home/xxx/Movies/vhs/.vhs.CHe6/cache/http---gatling-ruutu-fi-media-xml-cache-id-2210226
++ curl --fail --retry 3 --compressed -L -s -A 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_2) AppleWebKit/600.3.10 (KHTML, like Gecko) Version/8.0.3 Safari/600.3.10' 'http://gatling.ruutu.fi/media-xml-cache?id=2210226'
++ tee /home/xxx/Movies/vhs/.vhs.CHe6/cache/http---gatling-ruutu-fi-media-xml-cache-id-2210226
+ metadata='<?xml version="1.0" encoding="UTF-8"?>
<Playerdata>
    <Clip>
        <MediaType>video_episode</MediaType>
        <AllowEmbed value="0"/>
        <Duration>3600</Duration>
        <Runtime>2521</Runtime>
        <Geoblock check_url="http://gatling.ruutu.fi/geoblock">1</Geoblock>
        <AllowHTTPDownload value="0"/>
        <Channel name="Nelonen" id="4"/>
        <AgeLimit>0</AgeLimit>
        <FallbackMode>NOCLIP</FallbackMode>
        <AdErrorText>Virhe ladattaessa mainoksia. Virhe voi johtua mainonnan esto-ohjelmasta tai mahdollisesta häiriöstä tietoliikenteessä.</AdErrorText>
        <Buffer min="0" max="0"/>
        <ProductPlacement>Ohjelma sisältää tuotesijoittelua</ProductPlacement>
        <Premium premium="true"/>
        <PassthroughVariables>
            <variable name="media_type" value="video_episode"/>
            <variable name="media_id" value="752148"/>
            <variable name="nid" value="2210226"/>
            <variable name="alias" value="kt_kuppilat_kuntoon_jyrki_sukula"/>
            <variable name="paid" value="0"/>
            <variable name="channel" value="4"/>
            <variable name="program_name" value="Kuppilat kuntoon, Jyrki Sukula! - Kausi 3 - Jakso 2 - 2015-09-21T18:58 - Kuppilat kuntoon, Jyrki Sukula!"/>
            <variable name="series_name" value="Kuppilat kuntoon, Jyrki Sukula!"/>
            <variable name="episode_code" value="S03E02"/>
            <variable name="content_owner" value="nelonenmedia"/>
            <variable name="gaid" value="UA-3683704-15"/>
            <variable name="themes" value="Ruoka,Sarjat,Viihde"/>
            <variable name="comscore_themes" value="Ruoka;Sarjat;Viihde"/>
            <variable name="tags" value=""/>
            <variable name="comscore_tags" value=""/>
            <variable name="m4_program_id" value="752148"/>
            <variable name="m4_production_id" value="15106813"/>
            <variable name="fp_ch" value="FP404"/>
            <variable name="fp_ty" value="video_tv_program"/>
            <variable name="fp_clnr" value="4nelonenmedia"/>
            <variable name="duration" value="3600"/>
            <variable name="runtime" value="2521"/>
        </PassthroughVariables>
        <BitRateLabels>
            <map label="720p" bitrate="3000"/>
            <map label="576p" bitrate="1800"/>
            <map label="432p" bitrate="1000"/>
            <map label="288p" bitrate="600"/>
        </BitRateLabels>
        <SourceFile>http://nelonenmedia-ondemand.nelonenmedia.fi/video/48/carbon_752148.smil/manifest.f4m</SourceFile>
        <AndroidMediaFiles>
            <AndroidMediaFile>http://nelonenmedia-ondemand.nelonenmedia.fi/video/48/carbon_752148.smil/playlist.m3u8</AndroidMediaFile>
        </AndroidMediaFiles>
        <DASHMediaFiles>
            <DASHMediaFile>http://nelonenmedia-ondemand.nelonenmedia.fi/video/48/carbon_752148.smil/manifest.mpd</DASHMediaFile>
        </DASHMediaFiles>
        <HTTPMediaFiles>
            <HTTPMediaFile>http://nelonenmedia-pmd.nelonenmedia.fi/video/48/carbon_752148_1000_none.mp4</HTTPMediaFile>
        </HTTPMediaFiles>
        <MediaFiles>
            <MediaFile>rtmp://stream.nelonen.fi/video/mp4:carbon_752148_1000_none.mp4</MediaFile>
        </MediaFiles>
        <TempMediaFiles>
            <TempMediaFile>http://nelonenmedia-ondemand.nelonenmedia.fi/video/48/carbon_752148.smil/manifest.f4m</TempMediaFile>
        </TempMediaFiles>
        <MobileMediaFiles>
            <MobileMediaFile>http://NOT_USED/video/carbon_752148_1000_none.mp4/manifest.f4m</MobileMediaFile>
        </MobileMediaFiles>
        <AppleMediaFiles>
            <AppleMediaFile>http://nelonenmedia-ondemand.nelonenmedia.fi/video/48/carbon_752148.smil/playlist.m3u8</AppleMediaFile>
        </AppleMediaFiles>
        <WebMediaFiles>
            <WebMediaFile>http://nelonenmedia-ondemand.nelonenmedia.fi/video/48/carbon_752148.smil/manifest.f4m</WebMediaFile>
        </WebMediaFiles>
        <SamsungMediaFiles>
            <SamsungMediaFile>http://nelonenmedia-ondemand.nelonenmedia.fi/video/48/carbon_752148.smil/playlist.m3u8</SamsungMediaFile>
        </SamsungMediaFiles>
        <ServerTime check_url="http://gatling.nelonenmedia.fi/time"/>
        <AdServerData baseURL="http://adserver.adtech.de/?adrawdata/3.0/969.1/4259940/0/1398/noperf=1;cc=2;header=yes;cookie=yes;adct=204;[KV];[SITE];[DEVICE];kvvideolength=medium;sub1=kt_kuppilat_kuntoon_jyrki_sukula;key=Ruoka+Sarjat+Viihde;kvchannel=Nelonen;alias=kt_kuppilat_kuntoon_jyrki_sukula;misc=[TIMESTAMP];grp=17;">
            <AdPosions>
                <Alias>kt_kuppilat_kuntoon_jyrki_sukula</Alias>
                <Group>17</Group>
            </AdPosions>
            <Keywords>
                <Keyword>no key</Keyword>
                <Keyword>no key</Keyword>
                <Keyword>no key</Keyword>
            </Keywords>
        </AdServerData>
        <Paid>0</Paid>
    </Clip>
    <Behavior>
        <Program program_name="Kuppilat kuntoon, Jyrki Sukula! - Kausi 3 - Jakso 2" episode_name="21.09.2015 19:00" start_time="21.09.2015 19:00" episode_duration="3600" description="Kausi 3. Jakso 2/12. Ravintola konkurssiuhan alla Heinolassa. Sukula saa eteensä konkurssin reunalla kamppailevan ravintola Maisterin Heinolassa. Taloudellinen ahdinko on vienyt omistajan kyvyt johtaa joukkojaan ja ravintolan sulkeminen näyttää uhkaavalta. Sukulalla on neljä päivää aikaa saada kurssi käännettyä. (42'\'') Ohjelman tekstitys teksti-tv:n sivulla 333."/>
        <Appearance channel_logo="http://static-gatling.nelonenmedia.fi/file/sites/default/files/logo/4811f71aa1d9f01c59359d5a93beb16ae63d7a36-NelonenPlayeriin_120x60.png" controls_logo="http://static-gatling.nelonenmedia.fi/file/sites/default/files/logo/73710e87619c8ddef277fe3252d32458c375cca7-ruutu-logo.png" controls_logo_link="http://www.ruutu.fi/"/>
        <StartSlides/>
        <Breaks>612, 1140, 1782</Breaks>
        <EndCreditsSeconds>2499</EndCreditsSeconds>
        <Startpicture href="http://static-gatling.nelonenmedia.fi/file/sites/default/files/img/3eeda4539f73c84d95750436a7a38a8be0d31c38-w_kuppilat_kuntoon_jyrki_sukula_s03_eps02_2560x1440.jpg"/>
        <RecommendationRedirectURL>http://ruutu.fi/video/f/[NID]</RecommendationRedirectURL>
    </Behavior>
    <Gaid>UA-3683704-15</Gaid>
</Playerdata>'
++ get-xml-field //Playerdata/Clip/BitRateLabels/map bitrate
++ local path
++ path=//Playerdata/Clip/BitRateLabels/map/@bitrate
++ xpath //Playerdata/Clip/BitRateLabels/map/@bitrate
++ sed 's/[^"]*"\([^"]*\)"/\1 /g'
+ bitrates=
++ get-xml-content //Playerdata/Clip/HTTPMediaFiles/HTTPMediaFile
++ sed 's/_[0-9]*\(_[^_]*.mp4\)/_@@@@\1/'
++ local path
++ path=//Playerdata/Clip/HTTPMediaFiles/HTTPMediaFile
++ xpath //Playerdata/Clip/HTTPMediaFiles/HTTPMediaFile
++ sed 's/<[^<]*>//g'
+ source=
+ '[' -n '' ']'
+ return 10
+ case $? in
+ echo '(2210226: EI SAATAVILLA)'
+ rm -f '/home/xxx/.vhs/Kuppilat kuntoon, Jyrki Sukula!/2210226.done'
(2210226: EI SAATAVILLA)
Viimeksi muokannut diudiu päivämäärä 05.10.2015 12:38, muokattu yhteensä 1 kerran
diudiu
Harrastaja
 
Viestit: 47
Liittynyt: 30.04.2015 0:35

Re: Skripti ylen sarjojen tallennukseen

ViestiKirjoittaja diudiu » 05.10.2015 12:24

# dpkg -l|grep xpath
ii libxml-xpath-perl 1.13-7 all Perl module for processing XPath
ii libxml-xpathengine-perl 0.13-1 all re-usable XPath engine for DOM-like trees

Niin... mahtaisiko tämä liittyä jotenkin mainoksiin?
Koodi: Valitse kaikki
<AdErrorText>Virhe ladattaessa mainoksia. Virhe voi johtua mainonnan esto-ohjelmasta tai mahdollisesta häiriöstä tietoliikenteessä.</AdErrorText>
diudiu
Harrastaja
 
Viestit: 47
Liittynyt: 30.04.2015 0:35

Re: Skripti ylen sarjojen tallennukseen

ViestiKirjoittaja antoine » 05.10.2015 13:09

Mainoksiin se ei liity, komentoriviltä käsin niitä ei missään tapauksessa voida näyttää.

Voit poistaa tuon set-komennon. Kokeilepas seuraavaksi vaihtaa riveillä 118 ja 123 tekstin /dev/null tilalle /dev/tty
tvheadend @arch linux @rpi → itunes @imac → apple tv
antoine
Asiantuntija
 
Viestit: 129
Liittynyt: 20.04.2009 18:29
Paikkakunta: Hämeenkyrö

Re: Skripti ylen sarjojen tallennukseen

ViestiKirjoittaja diudiu » 05.10.2015 13:29

No joo, jotain se xpath on vailla:
Koodi: Valitse kaikki
Valitse tallennettavat jaksot: 1
Usage:
/usr/bin/xpath [options] -e query [-e query...] [filename...]

   If no filenams are given, supply XML on STDIN.
   You must provide at least one query. Each supplementary
   query is done in order, the previous query giving the
   context of the next one.

   Options:

   -q      quiet. Only output the resulting PATH
   -s suffix   use suffix instead of linefeed.
   -p postfix   use prefix instead of nothing.
Usage:
/usr/bin/xpath [options] -e query [-e query...] [filename...]

   If no filenams are given, supply XML on STDIN.
   You must provide at least one query. Each supplementary
   query is done in order, the previous query giving the
   context of the next one.

   Options:

   -q      quiet. Only output the resulting PATH
   -s suffix   use suffix instead of linefeed.
   -p postfix   use prefix instead of nothing.
(2210226: EI SAATAVILLA)
diudiu
Harrastaja
 
Viestit: 47
Liittynyt: 30.04.2015 0:35

Re: Skripti ylen sarjojen tallennukseen

ViestiKirjoittaja antoine » 05.10.2015 14:05

Näköjään debian käyttää ihan erilaista xpathia kuin OS X tai Arch Linux. Näissä molemmissa käyttöohje kertoo seuraavaa:
Koodi: Valitse kaikki
Usage:
/usr/bin/vendor_perl/xpath [filename] query
            
   If no filename is given, supply XML on STDIN.

Muokkasin skriptiä siten, että se käyttää parsimiseen paremmin standardoitua(?) xmllinttiä xpathin sijaan. Vedäpä alas tämä päivitys ja kokeile.
tvheadend @arch linux @rpi → itunes @imac → apple tv
antoine
Asiantuntija
 
Viestit: 129
Liittynyt: 20.04.2009 18:29
Paikkakunta: Hämeenkyrö

Re: Skripti ylen sarjojen tallennukseen

ViestiKirjoittaja diudiu » 05.10.2015 15:46

Sillähän se sitten ratkesi. Taidat olla jokin jumala tai ainakin jonkun sortin yli-ihminen :D

Ja kansikuvakin tuli nätisti mukaan lopulliseen mediatiedostoon tässä Ruutu-latauksessa, mutta jostain syystä Ylestä ladattaessa se ei toimi. Ylen tapauksessa latauksen aikaiseen hakemistoon jää roikkumaan vhs.jpg.prepatch, joka sisältää kansikuvan, mutta vhs.jpg näyttää olevan tyhjä (koko 4 tavua).

Kiitoksia vaan tästä vaivannäöstäsi! Muutenkin nopeaa toimintaa.
diudiu
Harrastaja
 
Viestit: 47
Liittynyt: 30.04.2015 0:35

Re: Skripti ylen sarjojen tallennukseen

ViestiKirjoittaja diudiu » 05.10.2015 20:01

En tiedä oliko oikein korjattu, mutta muutin riviltä 385 dd:n yhtä operandia toiseen muotoon kun dd väitti, että ei sitä mukamas sulata. Eli:

dd bs=1 skip=4 oseek=4 -> dd bs=1 skip=4 seek=4

Ja nyt näyttäisi kansikuvat toimivan myös Areenasta ladattaessa.
diudiu
Harrastaja
 
Viestit: 47
Liittynyt: 30.04.2015 0:35

Re: Skripti ylen sarjojen tallennukseen

ViestiKirjoittaja antoine » 06.10.2015 11:21

Joo, tuo on oikein. Korjasin myös git-versioon.
tvheadend @arch linux @rpi → itunes @imac → apple tv
antoine
Asiantuntija
 
Viestit: 129
Liittynyt: 20.04.2009 18:29
Paikkakunta: Hämeenkyrö

Re: Skripti ylen sarjojen tallennukseen

ViestiKirjoittaja diudiu » 27.10.2015 21:07

Heippa taas, jälleen on ongelmia...

Saaraa ja Sorsaa Areenasta ladattaessa tulee vastaan semmoinen probleema, että skripti ei löydä oikeaa id:tä (1-2729948) ohjelmalle vaan tarjoaa ruotsinkielistä tilalle (1-2153438). Myöskään programmes.txt-tiedostosta ei luonnollisestikaan tuota oikeaa löydy. Voiko olla, että tuo ruotsalainen pyyhkäisee kenties jo aiemmin parsitun suomalaisen pois tieltään kun sattuvat olemaan molemmat saman nimisiä?

Ja sitten: Ohjelmassa "Saku & Vaakku" &-merkki tuottaa ilmeisesti parsimisessa ongelmia koska ohjelman nimeksi muodostuu programmes.txt-tiedostossa "Saku &amp; Vaakku". Ongelman voi toki kiertää asettamalla tallentimen nimeksi "Saku &amp; Vaakku".

Kolmas pikku asia koskee mahdollisuutta estää samannimisten tiedostojen ylikirjoitus. Esimerkiksi Ruudusta jos lataa Tuomas veturia tai Palomies Samia niin kaikkien näiden ohjelmien jaksojen nimet ovat samoja. Onko tähän joku helppo vipu saatavilla jolla muutettaisiin tarvittaessa tallennettavan tiedoston niemeä vaikka jollain lisäliitteellä (esim. tiedosto-1, tiedosto-2 jne.)?
diudiu
Harrastaja
 
Viestit: 47
Liittynyt: 30.04.2015 0:35

Re: Skripti ylen sarjojen tallennukseen

ViestiKirjoittaja antoine » 03.11.2015 16:13

Hyviä kysymyksiä kaikki.

diudiu kirjoitti:Saaraa ja Sorsaa Areenasta ladattaessa tulee vastaan semmoinen probleema, että skripti ei löydä oikeaa id:tä (1-2729948) ohjelmalle vaan tarjoaa ruotsinkielistä tilalle (1-2153438). Myöskään programmes.txt-tiedostosta ei luonnollisestikaan tuota oikeaa löydy. Voiko olla, että tuo ruotsalainen pyyhkäisee kenties jo aiemmin parsitun suomalaisen pois tieltään kun sattuvat olemaan molemmat saman nimisiä?

Poistin tuon samannimisten ohjelmien suodatuksen. Kaksoiskappaleita ei ainakaan tällä hetkellä näyttäisi syntyvän.

Ja sitten: Ohjelmassa "Saku & Vaakku" &-merkki tuottaa ilmeisesti parsimisessa ongelmia koska ohjelman nimeksi muodostuu programmes.txt-tiedostossa "Saku &amp; Vaakku". Ongelman voi toki kiertää asettamalla tallentimen nimeksi "Saku &amp; Vaakku".

Lisäsin html-koodattujen erikoismerkkien oikean tulkitsemisen myös Ylen ohjelmille.

Kolmas pikku asia koskee mahdollisuutta estää samannimisten tiedostojen ylikirjoitus. Esimerkiksi Ruudusta jos lataa Tuomas veturia tai Palomies Samia niin kaikkien näiden ohjelmien jaksojen nimet ovat samoja. Onko tähän joku helppo vipu saatavilla jolla muutettaisiin tarvittaessa tallennettavan tiedoston niemeä vaikka jollain lisäliitteellä (esim. tiedosto-1, tiedosto-2 jne.)?

Lisäsin tällaisen mahdollisuuden jaksojen jälkikäsittelyyn. Voit nyt lisätä ohjelman tallentimeen (Tuomas-veturi.txt) kakkosriville (jätä ylin rivi tyhjäksi) esimerkiksi seuraavaa:
Koodi: Valitse kaikki
output_filename="${programme} - kausi ${snno} - osa ${epno}"
tvheadend @arch linux @rpi → itunes @imac → apple tv
antoine
Asiantuntija
 
Viestit: 129
Liittynyt: 20.04.2009 18:29
Paikkakunta: Hämeenkyrö

Re: Skripti ylen sarjojen tallennukseen

ViestiKirjoittaja diudiu » 09.03.2016 19:07

Moi taas antoine.

Kiitos näistä edellisistä, homma tuntui toimivan taas ihan jees. Mutta onko Ruudun osalta tapahtunut jotain kun en onnistu nykyään saamaan sieltä mitään? Tarvitseekohan skripti jotain päivitystä?

Ja kysytään nyt vielä uudestaan, että olisiko mahdollista saada skripti lataamaan haluttaessa useampia teksityksiä Areenasta ja jatkokäsittelemään ne samaan kääröön (tässä tapauksessa .fin ja .fih) vaikka aiemmin taisitkin mainita ettei asia ole intresseissäsi?
diudiu
Harrastaja
 
Viestit: 47
Liittynyt: 30.04.2015 0:35

EdellinenSeuraava

Paluu Linux

Paikallaolijat

Käyttäjiä lukemassa tätä aluetta: Ei rekisteröityneitä käyttäjiä ja 1 vierailijaa