ex2/main_5.tex

   1 %ex2.5
   2
   3 Push JupyterLab notebook to lbd:
   4 \begin{verbatim}rsync -vaPp --delete ~/gitstuff/adbs/ex2/spark/ \
   5 e726236f@lbd.zserv.tuwien.ac.at:hive/;
   6 \end{verbatim}
   7
   8 Continue to the Jupyter Lab at: https://lbd.zserv.tuwien.ac.at:8000\\
   9
  10 Although Jupyter Lab offers a nice interface, it doesn't seem to actually work and hangs with the message:
  11 \begin{verbatim}Intitializing Scala interpreter ...\end{verbatim}
  12
  13 Therefore we decided to run spark in the shell on lbd:
  14 \begin{verbatim}ssh -t e726236f@lbd.zserv.tuwien.ac.at \
  15 "source /etc/profile; spark2-shell --master yarn --deploy-mode client --"\end{verbatim}
  16
  17 The tasks are solved and documented in the \textbf{Exercise5\_SparkInScala.ipynb} file.