Lettura dei dati di testo e binari con i flussi leggibili Node. js Questo tutorial vi spiegherà l'uso e la creazione di flussi di node. js leggibili: Informazioni sulla versione Autore: Jeff Barczewski Pubblicato: 3 agosto, 2013 Tags: nodejs, torrenti Livello: Intermedio Prerequisiti: crittografia, eventi, installare i moduli NPM Node. js v0.10 (ultima versione stabile è v0.10.15 stesura di questo documento), ma i flussi sono stati generalmente una parte di Node. js dai suoi primi giorni Streams2 può essere utilizzato con le versioni precedenti di nodo utilizzando modulo NPM leggibile-stream consumo o utilizzando i flussi leggibili semplice esempio di lettura di un file e facendo eco a stdout: Creazione di un digest SHA1 di un file e facendo eco il risultato allo stdout (simile a shasum): l'evento di dati viene generato sul flusso leggibile per ogni blocco di dati, in modo da aggiornare il digest con per ogni blocco, come si va, poi finalmente l'evento fine viene attivato quando il flusso si è concluso in modo da poter emettere il risultato finale. Si noti che ogni volta che si chiama. on () per registrare un ascoltatore restituisce il flusso originale in modo da poter facilmente metodi di catena. Con Node. js 0.10 c'è un modo migliore per consumare i flussi. L'interfaccia Readable rende più facile lavorare con i flussi, in particolare i flussi in cui si desidera fare altre cose tra la creazione di un flusso e utilizzando il flusso. Questi flussi più recenti leggibili sono flussi di tiro in cui è richiesta, i dati quando si leggono per esso, piuttosto che avere i dati spinto a voi. La chiave per comprendere questo esempio è che con la nuova interfaccia Readable streams2, un evento leggibile sarà emesso non appena sono disponibili i dati da leggere e si può chiamare. read () per leggere pezzi di esso. Una volta che ci sono più dati disponibili. read () restituisce null, ma poi un altro evento leggibile è sparato di nuovo quando i dati è di nuovo disponibile. Questo continua fino alla fine del file quando fine viene generato come prima. La produzione di un flusso leggibile Per utilizzare i flussi con il file system o da http, è possibile utilizzare le FS e HTTP metodi di base per la costruzione di un ruscello, ma come si potrebbe creare il proprio flusso e riempirlo con i dati Questo potrebbe essere dati da un database o da qualsiasi numero di sorgenti. Ecco un esempio di creazione di un flusso leggibile che viene generato dai dati binari casuali, quindi hashing come prima. Questo sarebbe utile per creare flussi per il test: Nota: dopo read () viene chiamato, dobbiamo continuare a leggere fino a quando abbiamo finito o fino push () restituisce false. Utilizzando Streams2 con le versioni precedenti Node. js Se si vuole fare questo lavoro codice con Node. js di età superiore a 0,10, è possibile includere una dipendenza per leggibile-stream in package. json e cambiare la linea 5 a leggere: Questo utilizzerà il nativo flusso leggibile se la versione Node. js è 0.10 e se no, allora sarà caricare il modulo leggibile-stream polyfill e utilizzarlo da lì. Pausa curriculum di flusso e Streams2 Dal flussi a volte può fornire dati più rapidamente di un'applicazione può consumare, corsi d'acqua includono la possibilità di mettere in pausa e la i dati vengono indirizzati fino a quando viene ripristinata la corrente. Prima della streams2, si avrebbe bisogno di prestare molta attenzione a mettere in pausa e riprendere i metodi, così come il buffering dei dati fino ripreso. Tuttavia leggibile da streams2 (Node. js 0,10 o tramite il pacchetto leggibile-stream) implementa la funzionalità che per voi e per i flussi sono in pausa automaticamente fino. read () viene chiamato. Si può anche avvolgere i flussi vecchi con un leggibile per implementare la nuova interfaccia sul vecchio torrente: Un'altra situazione in cui è necessario preoccuparsi di mettere in pausa e riprendere è se il codice consumo utilizza la vecchia interfaccia stile spinta chiamando. on (39data39, ascoltatore). questo mette la corrente in modalità di compatibilità all'indietro e si avrebbe bisogno di chiamare. pause () e. resume () per controllare la velocità dei dati provenienti per l'applicazione. Vedere la documentazione flusso API per i dettagli, se si utilizza l'interfaccia più vecchio nel codice. Oggetto Streams Inizialmente, quando sono stati introdotti corsi d'acqua l'API ufficiale ha indicato che blocchi di dati in fase di streaming sarebbe buffer o stringhe, tuttavia molti utenti hanno scoperto che è stato bello essere in grado di trasmettere gli oggetti pure. Streams2 in Node. js 0.10 aggiunto una modalità oggetto di flussi di formalizzare come questo dovrebbe funzionare. In modalità oggetto. lettura (n) restituisce semplicemente l'oggetto successivo (ignorando il n). Per passare da un flusso in modalità oggetto, impostare la proprietà Modo Oggetto su true nelle opzioni utilizzate per creare il flusso leggibile Quindi è possibile utilizzare gli oggetti nei corsi d'acqua con la stessa facilità è possibile utilizzare Tamponi e corde, ma l'unica limitazione è che gli oggetti pass non può essere nullo poiché ciò indica che il flusso è terminato. Node. js flussi leggibili sono Node. js flessibili e semplici flussi leggibili e facili da consumare e anche semplice da costruire. È possibile non solo flusso di dati binari e di stringa, ma anche oggetti e ancora sfruttare la funzionalità flusso. Spero vi sia piaciuto questo rapido giro di flussi leggibili, fatemi sapere se avete domande. Per ulteriori lettura Condividi questo pageYou stanno facendo le cose molto più difficile di quanto hanno bisogno di essere. L'oggetto Buffer nodo prende Base64 come input e fa tutto quello decodifica per voi. Si può solo togliere i dati: immagine. parte dalla stringa Base64 e trasmettere i dati al vostro WriteFileAssistant. Il il WriteFileAssistant ha solo bisogno di prendere la stringa base64 e passare che come argomento al costruttore Buffer. Inoltre, avendo una chiamata sul opensync si romperà le cose troppo. Buffer prende una stringa e una codifica, quindi utilizza il valore di codifica per elaborare la stringa in una serie di byte, in modo che quando si dice che la stringa è Base64, sarà decodificare il base64 per voi e per creare la giusta gamma decodificato di byte per scrivere sul file. rispose 8 settembre 11 alle 11: 30Node Js e aggiornare dati binari: Niente di tutto questo dovrebbe essere necessario, come FileReadStream nell'ultimo nodo utilizza i buffer di default. Tuttavia, sembra che sia I39m facendo qualcosa di sbagliato o la documentazione non sono aggiornati, in quanto doesn39t funziona in questo modo il nodo principale. Due aree in cui l'Node. js39s exclenned purtroppo manca è il trattamento dei dati binari e stringhe di grandi dimensioni. In questo post I39d piacerebbe andare oltre alcune tecniche per gestire dati binari in nodo, la maggior parte dei quali ruota intorno trattare con V839s garbage collector, e il fatto che le stringhe in nodo non sono fatte per i dati binari, they39re fatto per UTF-8 e UTF-16 dei dati. Ci sono tre principali dettagli scabrosi che rendono il lavoro con i dati in Node. js un dolore: le stringhe di grandi dimensioni (gt 64K) non sono tuo amico. dati binari (e ASCII) in una stringa nodo sono memorizzati come il primo byte di una stringa UTF-16. I dati binari possono essere memorizzati in modo più efficiente in Node. js come un buffer consente di guardare la prima voce, grandi archi aren39t tuo amico. Node. js creatore ry stesso affrontato questo argomento se stesso in un confronto delle prestazioni che ha fatto con nginx. Se si visualizza il pdf, (o guardare la tabella estratta sotto) you39ll vedere quel nodo fa un lavoro decente tenere il passo con nginx fino ai successi marchio 64 byte, quindi le prestazioni appena cade a pezzi. Il motivo, in parole ry39s: V8 ha un garbage collector generazionale che si muove attorno agli oggetti in modo casuale. Il nodo non può ottenere un puntatore a dati di tipo stringa grezzi di scrivere alla presa. Si può vedere questo nel grafico rilevante in diapositive ryan39s. che I39ve convenientemente estratto e pubblicato sotto (spero che tu don39t mente Ryan). Che wasn39t immediatamente ovvio per me dopo aver letto questo era ciò che questo ha significato nei casi in cui uno è stato utilizzando il nodo di passare intorno alle grandi bit di dati binari che vengono in come stringhe. se si utilizza il nodo di dire, leggere dal file system si torna una stringa binaria, non è un buffer. La mia domanda era: quotIf ho dati binari già bloccato in una stringa UTF-16 schifoso, ma poi bastone in buffer prima di inviarlo, sarà che aiutano con speed. quot La risposta un aumento del throughput da 100 a 160 MiBSec MiBSec. Controlla il grafico qui sotto dai miei test delle prestazioni, dove ho giocato con diverse dimensioni readChunk (quantità di dati che il FileReadStream legge in una sola volta e le dimensioni del buffer (Quanti dati archiviamo in un buffer prima del lavaggio ad una presa di corrente): Come si può vedere prestazioni usando tamponi (BUF) batte i pantaloni fuori scrive usando stringhe (STR). La differenza tra i due pezzi di codice può essere visto sotto. inizialmente ho didn39t penso che facendo questa conversione avrebbe aiutato a tutti, ho pensato una volta che era già in una stringa (come dati da un FileReadStream è), si può anche svuotare alla presa e continuare su. Questo mi domando se altre applicazioni sarebbe anche meglio fuori accumulare la loro produzione (forse anche loro UTF-8 in uscita) in un Buffer, ove possibile, poi finalmente il lavaggio del tampone, invece di fare ripetere chiama a res. write. qualcuno ha bisogno di testare questo. Inoltre, questo mi fa domando se ulteriori miglioramenti al mio banco di prova potrebbe essere migliorata se l'oggetto FileReadStream nodo è stato modificato per restituire un buffer anziché una stringa. Additionaly, si può chiedere di usare un bufsize più grande del formato readChunk, che ho fatto davvero di prova, ma ha trovato non c'era molta differenza quando si utilizza un buffer più grande, così la strategia ottimale in realtà sembra essere la lettura di un pezzo da 64KiB in un buffer da 64KiB. È possibile visualizzare questi dati in fondo al post. Nei dati che graficamente sopra, ho fatto un numero di corse con ab - c 100 - n 1000 contro 1 file MIB cambiare la chunksize e ReadSize. codice di esempio rilevante può essere visto sotto. Il codice di esempio completo sarebbe la mia forcella di nodo-paperboy. Synchronous File IO in Node. js Scritto da Dave Eddy il 26 Mar 2013 - tags: Tech non chiamare fs. writeFileSync innescare una scrittura sincrona al file system Se si ha familiarità con Node. js. o hanno almeno sentito parlare, you39ve molto probabilmente sentito che utilizza non-blocking IO, e consente di lavorare in modo asincrono fa. Uno dei più API di base che fornisce il nodo è per il file system Con questa API, è possibile leggere, scrivere, rimuovere, ecc file e fare altre operazioni e modifiche relative del file system. Questa API segue un modello standard di esporre 2 funzioni per ciascuna operazione: uno per il lavoro asincrono, e l'altra per il lavoro sincrono. Per esempio, se si desidera leggere un file in nodo è possibile farlo in modo asincrono: Nodo continuerà l'esecuzione di codice JavaScript che incontra durante la lettura del file. Una volta che tutti Javascript è eseguita in esecuzione e il file è pronto, verrà eseguito la funzione anonima e stampare il contenuto del file. Si può fare la stessa operazione in modo sincrono: In questo esempio, i contenuti verranno impostati i contenuti del file, e nessun codice JavaScript saranno eseguite mentre il file viene letto. Il primo approccio è fatto in modo asincrono, e tornerà subito di non bloccare il codice di esecuzione. Il secondo è fatto in modo sincrono, e fermerà l'esecuzione fino a quando l'operazione è stata completata. esistono le stesse 2 tipi di funzioni per la scrittura, rinomina, cancellazione, ecc file. Sincrono Scrive Quindi la domanda è, non chiamando fs. writeFileSync effettivamente innescare una scrittura sincrona per il file system Nel processo Nodo userland, it39s sincrono, nel senso che viene interrotta l'esecuzione di qualsiasi javascript, ma per quanto riguarda nel kernel una scrittura asincrona è una cosa molto diversa da una scrittura sincrona a un file system. Per il resto di questo post del blog I39ll essere parlando nel contesto del illumos kernel, e il file system ZFS. Ci sono un paio di modi per rispondere a questa domanda. Il modo più ovvio è quello di tirare il codice sorgente Node. js, trovare le funzioni che parlano al file system che fs. js usi, e vedere come vengono chiamati. I haven39t fatto molto lavoro sul core nodo, e so che potrebbe (e molto probabilmente avrebbe) richiedere molto tempo per trovare il codice che cercavo. Invece, I39ll basta usare DTrace per rispondere alla domanda, e vedere esattamente ciò che il nodo sta facendo. DTrace per il salvataggio ho scritto un paio di programmi di test che esercitano queste funzioni di file system. Utilizzando DTrace, we39ll essere in grado di vedere ciò che le bandiere di un file viene aperto con, che mostrerà se le operazioni sono sincroni o meno. fs. writeFile () Questo script esercita Node39s meccanismo di scrittura di file asincrono. Utilizzando DTrace, possiamo stampare le bandiere che sono stati passati per aprire (2) per quel file specifico. Quindi, utilizzando fileflags. siamo in grado di trasformare quel decimale nei nomi simbolici che compongono il decimale (vedere aperta (2) per maggiori informazioni). Il primo comando dice a DTrace per eseguire writefile. js nodi. e cercare qualsiasi della famiglia aperta di chiamate di sistema. Se il primo argomento per aprire (il percorso) corrisponde al file che stiamo scrivendo per, stampare l'esatto syscall sparato, e la bandiere decimale. Si scopre che Open64 (2) è stato chiamato per il nostro file, date le seguenti opzioni. OWRONLY. aperto di sola scrittura OCREAT. creare il file se esiste doesn39t OTRUNC. troncare il file delle opzioni abbastanza standard per aprire un file. Dal momento che nessuna delle opzioni sono per sincrona IO (oSync. ODSYNC ecc.) Questo file di scrittura è asincrona a ZFS, e la chiamata a scrivere (2) restituisce prima che i dati è garantito per essere seduto su archiviazione stabile. Node39s fs. writeFile asincrono effettivamente fare una scrittura asincrona per il file system. fs. writeFileSync () E per quanto riguarda Node39s sincrono meccanismo di scrittura di file, è un vero e proprio scrittura sincrona per il file system Questo script bloccare il ciclo degli eventi, mentre i dati vengono scritti nel file (o almeno così si pensa), in quanto utilizza Node39s sincrono meccanismo di scrittura di file. Stessi comandi come sopra, e la stessa uscita. Node39s fs. writeFileSync non avvia una scrittura sincrona per il file system. Dal punto di vista di un programma di nodo, sappiamo che la stessa cosa quando una chiamata al fs. writeFileSync ritorna, come sappiamo, quando il callback per fs. writeFile è sparato. Sappiamo che la chiamata di base, scrivere (2) è tornato non sappiamo che i dati ha reso alla memoria stabile. L'unica differenza, allora, è che uno dei blocchi funzione ciclo di eventi Node39s, mentre l'altro permette di continuare eventi di elaborazione. fs. createWriteStream () Un altro meccanismo che permette il file IO è quello di creare, e scrivere, un WritableStream nodo. Stessa uscita come sopra, di nuovo. Questo meccanismo si apre il file con le stesse bandiere sia come fs. writeFile e fs. writeFileSync. fs. appendFile () Così la scrittura su un file utilizza gli stessi flag per l'apertura del file, che dire aggiungendo stesso esercizio come sopra così le bandiere sono diversi, that39s un buon segno. OTRUNC è stato scambiato per OAPPEND. dal momento che non siamo più troncando il file da 0 byte e invece stanno aggiungendo ad esso. Anche in questo caso, come tutti i comandi di cui sopra, fs. appendFile apre il file per asincrona IO. fs. appendFileSync () Infine, ma non prova let39s almeno la versione sincrona di appendFile. Uguale fs. appendFile il file non viene aperto per scritture sincrone. Bandiere comuni Let39s utilizzare un semplice programma C per aprire un file utilizzando fopen (3C) per vedere quali flag che utilizza. Quindi eseguire con lo stesso comando di cui sopra per vedere quali flag il file è stato aperto con. Abbastanza sicuro, le stesse bandiere, come l'apertura di un file per la scrittura nella terra di Node. fs. writeFileSync è sincrona, nel senso che blocca il ciclo degli eventi durante l'esecuzione. Essa non chiede il Kernel di fare una scrittura sincrona per il file system sottostante. Questo script bloccare il ciclo degli eventi, mentre i dati vengono scritti nel file (o almeno così pensiamo). Nessuna delle funzioni di cui sopra file aperti per sincrona IO. A causa di questo, tutto quello che sappiamo è che la chiamata a scrivere (2) restituisce, senza che i dati sono stati scritti al file system e risciacquati per archiviazione stabile. Don39t ottenere sgambetto sui nomi, fs. writeSync doesn39t sincrono scrivere al file system. Se si desidera aprire un file per sincrono IO, you39ll devono utilizzare le funzioni fs di livello inferiore che Nodo offre come fs. open () e fs. fsync (). copia dave eddy ltdavedaveeddygt
No comments:
Post a Comment