]> git.somenet.org - pub/jan/adbs.git/blob - ex2/main_5.tex
etwas zu ex2.5 geschrieben.
[pub/jan/adbs.git] / ex2 / main_5.tex
1 %ex2.5
2
3 Push JupyterLab notebook to lbd:
4 \begin{verbatim}rsync -vaPp --delete ~/gitstuff/adbs/ex2/spark/ \
5 e726236f@lbd.zserv.tuwien.ac.at:hive/;
6 \end{verbatim}
7
8 Continue to the Jupyter Lab at: https://lbd.zserv.tuwien.ac.at:8000\\
9
10 Although Jupyter Lab offers a nice interface, it doesn't seem to actually work and hangs with the message:
11 \begin{verbatim}Intitializing Scala interpreter ...\end{verbatim}
12
13 Therefore we decided to run spark in the shell on lbd:
14 \begin{verbatim}ssh -t e726236f@lbd.zserv.tuwien.ac.at \
15 "source /etc/profile; spark2-shell --master yarn --deploy-mode client --"\end{verbatim}
16
17 The tasks are solved and documented in the \textbf{Exercise5\_SparkInScala.ipynb} file.