Differenza tra –magazzino-dir e –target-dir comandi in sqoop

Io non riuscivo a capire la differenza tra i seguenti comandi in sqoop. Sarebbe meglio se qualcuno potrebbe spiegare con piccoli esempi.

 --warehouse-dir and --target-dir 

Grazie

InformationsquelleAutor sree | 2016-05-24

6 Replies
  1. 14

    Al di sotto del parametro di punti predefiniti hive posizione della tabella.Può essere utilizzato per dev scopo, in cui si desidera solo per eseguire alcuni test su tabelle interne.

    –magazzino-dir

    Di seguito parametro indica alcuni hdfs posizione, dove è possibile montare esterni tabelle dell’alveare.Questo è utile in un ambiente di produzione, in cui si desidera che tutti i dati siano disponibili per esterni dir e tavolo esterno.

    –target-dir

    E ‘ possibile avere la ragione, per la prima downvote qui?

    InformationsquelleAutor syadav

  2. 5

    Come ho ottenuto in caso di importazione:

    –magazzino-dir :
    Creare una directory, che funziona come la directory del database (sqoop_db_movies) e il nome della tabella (come specificato nel comando di importazione) di directory viene creata automaticamente con i file importati in magazzino dir(database di directory).

    –target-dir:
    Creare una directory di lavoro come nome della tabella (sqoop_table_movies) con i file importati.

    Esempio:
    1. sqoop import --options-file /home/cloudera/sqoop/conn --table movies --warehouse-dir /sqoop_db_movies -m 1

    Di uscita:

    /sqoop_db_movies/film

    /sqoop_db_movies/film/_SUCCESS

    /sqoop_db_movies/film/part-m-00000

    2. sqoop import --options-file /home/cloudera/sqoop/conn --table movies --target-dir /sqoop_table_movies -m 1

    Di uscita:

    /sqoop_table_movies/_SUCCESS

    /sqoop_table_movies/part-m-00000

    InformationsquelleAutor Santosh Singh

  3. 3
    --warehouse-dir 
    

    generalmente si utilizza questa opzione se si sta importando tutte le tabelle con import-tutte-le tabelle strumento utilizzando sqoop.
    Questa directory può essere qualsiasi cosa, il tuo alveare /dati/magazzino di directory o di qualche altro genitore directory. Tutte le tabelle verranno importati in questa directory padre.

    --target-dir
    

    Questa opzione viene utilizzata quando hai importare una singola tabella con import-tabella strumento.
    Per ogni tavolo per parlare di directory e non deve esistere già nel percorso.

    InformationsquelleAutor Aman Mundra

  4. 1

    Se si desidera eseguire più Sqoop posti di lavoro per più tabelle, è necessario modificare l’ –target-dir parametro con ogni invocazione.

    Come alternativa, Sqoop, offre un altro parametro da cui selezionare la directory di output. Invece di specificare direttamente la directory finale, il parametro –magazzino-dir consente di specificare la directory padre.

    Piuttosto che la scrittura dei dati nel data warehouse, il directory, Sqoop creerà una directory con lo stesso nome della tabella all’interno del magazzino directory e importare i dati.

    Questo è simile per impostazione predefinita nel caso in cui Sqoop importazioni dati della home directory sul HDFS, con la notevole eccezione che –magazzino-dir parametro permette di utilizzare una directory che non sia la home directory. Si noti che questo parametro non è necessario cambiare con ogni tabella di importazione, a meno che non sono l’importazione di tabelle con lo stesso nome.

    InformationsquelleAutor Piyush

  5. 0

    Generalmente uso magazzino-dir, anche con magazzino dir tabella multipla o singola tabella funziona bene.

    Un altro vantaggio è, solo magazzino-dir funziona con S3, questo è molto importante, quando si vuole tavoli esterni per la memorizzazione di dati in s3.

    InformationsquelleAutor muthu veerappan alagappan

  6. 0

    –magazzino-dir punti all’Alveare cartella per importare i dati (io l’ho usato durante l’importazione di tabelle all’ingrosso), mentre –target-dir è necessaria quando l’importazione nell’Alveare via query (sqoop sbaglia chiedendo per essa). Nel secondo scenario, è usato come un’area temporanea per i mappatori di essere seguita da CARICO INPATH. Ero impostazione –target-dir lo stesso del –magazzino-dir (dopo il passaggio da tutta la tabella, di una query di importazione) e stava tavoli vuoti. Rimosso –magazzino-dir da sqoop comando e cambiato –target-dir /tmp/newfolder e il mio importazioni nell’Alveare erano felici.

    InformationsquelleAutor Edi Bice

Lascia un commento