org.apache.spark.SparkException: Task not serializable


#1

Hi All,
I am facing “Task not serializable” exception while running spark code. Any help will be appreciated.

Code

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark._
case class TempData(day: Int, dte: Int, month: Int, year: Int,
precip: Double, snow: Double, tave: Double, tmax: Double, tmin: Double)

def toDoubleOrNeg(s: String): Double = {
try{
s.toDouble
} catch {
case _:NumberFormatException => -1
}
}
object RDDTempData {
def main(args:Array[String]): Unit = {
val goodSparkContext = SparkContext.getOrCreate()

val lines = goodSparkContext.textFile("dbfs:/FileStore/tables/MN212142_9392.csv").filter(!_.contains("Day"))
       
val data = lines.flatMap { lines => 
                  val p = lines.split(",")
            if( p(7) == "." || p(8) =="." || p(9)=="." ) Seq.empty else 
            Seq(TempData( p(0).toInt, p(1).toInt, p(2).toInt, p(4).toInt,
            toDoubleOrNeg(p(5)), toDoubleOrNeg(p(6)), p(7).toDouble, p(8).toDouble,
            p(9).toDouble ))

}

println(data.max()(Ordering.by(_.tmax)))

}

}

Exception

org.apache.spark.SparkException: Task not serializable
at org.apache.spark.util.ClosureCleaner$.ensureSerializable(ClosureCleaner.scala:345)
at org.apache.spark.util.ClosureCleaner$.org$apache$spark$util$ClosureCleaner$$clean(ClosureCleaner.scala:335)
at org.apache.spark.util.ClosureCleaner$.clean(ClosureCleaner.scala:159)
at org.apache.spark.SparkContext.clean(SparkContext.scala:2407)
at org.apache.spark.rdd.RDD$$anonfun$flatMap$1.apply(RDD.scala:392)
at org.apache.spark.rdd.RDD$$anonfun$flatMap$1.apply(RDD.scala:391)
at org.apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:151)
at org.apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:112)
at org.apache.spark.rdd.RDD.withScope(RDD.scala:375)
at org.apache.spark.rdd.RDD.flatMap(RDD.scala:391)
at line3b8ca02ff9d541e7b18351049370694895.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$RDDTempData$.main(command-3740419302711119:33)
at line3b8ca02ff9d541e7b18351049370694897.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-3740419302711121:1)
at line3b8ca02ff9d541e7b18351049370694897.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-3740419302711121:105)
at line3b8ca02ff9d541e7b18351049370694897.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-3740419302711121:107)
at line3b8ca02ff9d541e7b18351049370694897.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-3740419302711121:109)
at line3b8ca02ff9d541e7b18351049370694897.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-3740419302711121:111)
at line3b8ca02ff9d541e7b18351049370694897.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-3740419302711121:113)
at line3b8ca02ff9d541e7b18351049370694897.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-3740419302711121:115)
at line3b8ca02ff9d541e7b18351049370694897.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-3740419302711121:117)
at line3b8ca02ff9d541e7b18351049370694897.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-3740419302711121:119)
at line3b8ca02ff9d541e7b18351049370694897.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-3740419302711121:121)
at line3b8ca02ff9d541e7b18351049370694897.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-3740419302711121:123)
at line3b8ca02ff9d541e7b18351049370694897.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-3740419302711121:125)
at line3b8ca02ff9d541e7b18351049370694897.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-3740419302711121:127)
at line3b8ca02ff9d541e7b18351049370694897.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-3740419302711121:129)
at line3b8ca02ff9d541e7b18351049370694897.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-3740419302711121:131)
at line3b8ca02ff9d541e7b18351049370694897.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-3740419302711121:133)
at line3b8ca02ff9d541e7b18351049370694897.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-3740419302711121:135)
at line3b8ca02ff9d541e7b18351049370694897.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-3740419302711121:137)
at line3b8ca02ff9d541e7b18351049370694897.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-3740419302711121:139)
at line3b8ca02ff9d541e7b18351049370694897.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-3740419302711121:141)
at line3b8ca02ff9d541e7b18351049370694897.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-3740419302711121:143)
at line3b8ca02ff9d541e7b18351049370694897.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-3740419302711121:145)
at line3b8ca02ff9d541e7b18351049370694897.$read$$iw$$iw$$iw$$iw$$iw$$iw.(command-3740419302711121:147)
at line3b8ca02ff9d541e7b18351049370694897.$read$$iw$$iw$$iw$$iw$$iw.(command-3740419302711121:149)
at line3b8ca02ff9d541e7b18351049370694897.$read$$iw$$iw$$iw$$iw.(command-3740419302711121:151)
at line3b8ca02ff9d541e7b18351049370694897.$read$$iw$$iw$$iw.(command-3740419302711121:153)
at line3b8ca02ff9d541e7b18351049370694897.$read$$iw$$iw.(command-3740419302711121:155)
at line3b8ca02ff9d541e7b18351049370694897.$read$$iw.(command-3740419302711121:157)
at line3b8ca02ff9d541e7b18351049370694897.$read.(command-3740419302711121:159)
at line3b8ca02ff9d541e7b18351049370694897.$read$.(command-3740419302711121:163)
at line3b8ca02ff9d541e7b18351049370694897.$read$.(command-3740419302711121)
at line3b8ca02ff9d541e7b18351049370694897.$eval$.$print$lzycompute(:7)
at line3b8ca02ff9d541e7b18351049370694897.$eval$.$print(:6)
at line3b8ca02ff9d541e7b18351049370694897.$eval.$print()
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at scala.tools.nsc.interpreter.IMain$ReadEvalPrint.call(IMain.scala:786)
at scala.tools.nsc.interpreter.IMain$Request.loadAndRun(IMain.scala:1047)
at scala.tools.nsc.interpreter.IMain$WrappedRequest$$anonfun$loadAndRunReq$1.apply(IMain.scala:638)
at scala.tools.nsc.interpreter.IMain$WrappedRequest$$anonfun$loadAndRunReq$1.apply(IMain.scala:637)
at scala.reflect.internal.util.ScalaClassLoader$class.asContext(ScalaClassLoader.scala:31)
at scala.reflect.internal.util.AbstractFileClassLoader.asContext(AbstractFileClassLoader.scala:19)
at scala.tools.nsc.interpreter.IMain$WrappedRequest.loadAndRunReq(IMain.scala:637)
at scala.tools.nsc.interpreter.IMain.interpret(IMain.scala:569)
at scala.tools.nsc.interpreter.IMain.interpret(IMain.scala:565)
at com.databricks.backend.daemon.driver.DriverILoop.execute(DriverILoop.scala:199)
at com.databricks.backend.daemon.driver.ScalaDriverLocal$$anonfun$repl$1.apply$mcV$sp(ScalaDriverLocal.scala:189)
at com.databricks.backend.daemon.driver.ScalaDriverLocal$$anonfun$repl$1.apply(ScalaDriverLocal.scala:189)
at com.databricks.backend.daemon.driver.ScalaDriverLocal$$anonfun$repl$1.apply(ScalaDriverLocal.scala:189)
at com.databricks.backend.daemon.driver.DriverLocal$TrapExitInternal$.trapExit(DriverLocal.scala:493)
at com.databricks.backend.daemon.driver.DriverLocal$TrapExit$.apply(DriverLocal.scala:448)
at com.databricks.backend.daemon.driver.ScalaDriverLocal.repl(ScalaDriverLocal.scala:189)
at com.databricks.backend.daemon.driver.DriverLocal$$anonfun$execute$3.apply(DriverLocal.scala:248)
at com.databricks.backend.daemon.driver.DriverLocal$$anonfun$execute$3.apply(DriverLocal.scala:228)
at com.databricks.logging.UsageLogging$$anonfun$withAttributionContext$1.apply(UsageLogging.scala:188)
at scala.util.DynamicVariable.withValue(DynamicVariable.scala:58)
at com.databricks.logging.UsageLogging$class.withAttributionContext(UsageLogging.scala:183)
at com.databricks.backend.daemon.driver.DriverLocal.withAttributionContext(DriverLocal.scala:40)
at com.databricks.logging.UsageLogging$class.withAttributionTags(UsageLogging.scala:221)
at com.databricks.backend.daemon.driver.DriverLocal.withAttributionTags(DriverLocal.scala:40)
at com.databricks.backend.daemon.driver.DriverLocal.execute(DriverLocal.scala:228)
at com.databricks.backend.daemon.driver.DriverWrapper$$anonfun$tryExecutingCommand$2.apply(DriverWrapper.scala:595)
at com.databricks.backend.daemon.driver.DriverWrapper$$anonfun$tryExecutingCommand$2.apply(DriverWrapper.scala:595)
at scala.util.Try$.apply(Try.scala:192)
at com.databricks.backend.daemon.driver.DriverWrapper.tryExecutingCommand(DriverWrapper.scala:590)
at com.databricks.backend.daemon.driver.DriverWrapper.getCommandOutputAndError(DriverWrapper.scala:474)
at com.databricks.backend.daemon.driver.DriverWrapper.executeCommand(DriverWrapper.scala:548)
at com.databricks.backend.daemon.driver.DriverWrapper.runInnerLoop(DriverWrapper.scala:380)
at com.databricks.backend.daemon.driver.DriverWrapper.runInner(DriverWrapper.scala:327)
at com.databricks.backend.daemon.driver.DriverWrapper.run(DriverWrapper.scala:215)
at java.lang.Thread.run(Thread.java:748)
Caused by: java.io.NotSerializableException: line3b8ca02ff9d541e7b18351049370694895.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$RDDTempData$
Serialization stack:
- object not serializable (class: line3b8ca02ff9d541e7b18351049370694895.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$RDDTempData$, value: line3b8ca02ff9d541e7b18351049370694895.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$RDDTempData$@14c6523b)
- field (class: line3b8ca02ff9d541e7b18351049370694895.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$RDDTempData$$anonfun$2, name: $outer, type: class line3b8ca02ff9d541e7b18351049370694895.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$RDDTempData$)
- object (class line3b8ca02ff9d541e7b18351049370694895.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$RDDTempData$$anonfun$2, )
at org.apache.spark.serializer.SerializationDebugger$.improveException(SerializationDebugger.scala:40)
at org.apache.spark.serializer.JavaSerializationStream.writeObject(JavaSerializer.scala:46)
at org.apache.spark.serializer.JavaSerializerInstance.serialize(JavaSerializer.scala:100)
at org.apache.spark.util.ClosureCleaner$.ensureSerializable(ClosureCleaner.scala:342)
at org.apache.spark.util.ClosureCleaner$.org$apache$spark$util$ClosureCleaner$$clean(ClosureCleaner.scala:335)
at org.apache.spark.util.ClosureCleaner$.clean(ClosureCleaner.scala:159)
at org.apache.spark.SparkContext.clean(SparkContext.scala:2407)
at org.apache.spark.rdd.RDD$$anonfun$flatMap$1.apply(RDD.scala:392)
at org.apache.spark.rdd.RDD$$anonfun$flatMap$1.apply(RDD.scala:391)
at org.apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:151)
at org.apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:112)
at org.apache.spark.rdd.RDD.withScope(RDD.scala:375)
at org.apache.spark.rdd.RDD.flatMap(RDD.scala:391)
at line3b8ca02ff9d541e7b18351049370694895.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$RDDTempData$.main(command-3740419302711119:33)
at line3b8ca02ff9d541e7b18351049370694897.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-3740419302711121:1)
at line3b8ca02ff9d541e7b18351049370694897.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-3740419302711121:105)
at line3b8ca02ff9d541e7b18351049370694897.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-3740419302711121:107)
at line3b8ca02ff9d541e7b18351049370694897.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-3740419302711121:109)
at line3b8ca02ff9d541e7b18351049370694897.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-3740419302711121:111)
at line3b8ca02ff9d541e7b18351049370694897.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-3740419302711121:113)
at line3b8ca02ff9d541e7b18351049370694897.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-3740419302711121:115)
at line3b8ca02ff9d541e7b18351049370694897.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-3740419302711121:117)
at line3b8ca02ff9d541e7b18351049370694897.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-3740419302711121:119)
at line3b8ca02ff9d541e7b18351049370694897.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-3740419302711121:121)
at line3b8ca02ff9d541e7b18351049370694897.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-3740419302711121:123)
at line3b8ca02ff9d541e7b18351049370694897.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-3740419302711121:125)
at line3b8ca02ff9d541e7b18351049370694897.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-3740419302711121:127)
at line3b8ca02ff9d541e7b18351049370694897.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-3740419302711121:129)
at line3b8ca02ff9d541e7b18351049370694897.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-3740419302711121:131)
at line3b8ca02ff9d541e7b18351049370694897.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-3740419302711121:133)
at line3b8ca02ff9d541e7b18351049370694897.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-3740419302711121:135)
at line3b8ca02ff9d541e7b18351049370694897.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-3740419302711121:137)
at line3b8ca02ff9d541e7b18351049370694897.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-3740419302711121:139)
at line3b8ca02ff9d541e7b18351049370694897.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-3740419302711121:141)
at line3b8ca02ff9d541e7b18351049370694897.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-3740419302711121:143)
at line3b8ca02ff9d541e7b18351049370694897.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-3740419302711121:145)
at line3b8ca02ff9d541e7b18351049370694897.$read$$iw$$iw$$iw$$iw$$iw$$iw.(command-3740419302711121:147)
at line3b8ca02ff9d541e7b18351049370694897.$read$$iw$$iw$$iw$$iw$$iw.(command-3740419302711121:149)
at line3b8ca02ff9d541e7b18351049370694897.$read$$iw$$iw$$iw$$iw.(command-3740419302711121:151)
at line3b8ca02ff9d541e7b18351049370694897.$read$$iw$$iw$$iw.(command-3740419302711121:153)
at line3b8ca02ff9d541e7b18351049370694897.$read$$iw$$iw.(command-3740419302711121:155)
at line3b8ca02ff9d541e7b18351049370694897.$read$$iw.(command-3740419302711121:157)
at line3b8ca02ff9d541e7b18351049370694897.$read.(command-3740419302711121:159)
at line3b8ca02ff9d541e7b18351049370694897.$read$.(command-3740419302711121:163)
at line3b8ca02ff9d541e7b18351049370694897.$read$.(command-3740419302711121)
at line3b8ca02ff9d541e7b18351049370694897.$eval$.$print$lzycompute(:7)
at line3b8ca02ff9d541e7b18351049370694897.$eval$.$print(:6)
at line3b8ca02ff9d541e7b18351049370694897.$eval.$print()
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at scala.tools.nsc.interpreter.IMain$ReadEvalPrint.call(IMain.scala:786)
at scala.tools.nsc.interpreter.IMain$Request.loadAndRun(IMain.scala:1047)
at scala.tools.nsc.interpreter.IMain$WrappedRequest$$anonfun$loadAndRunReq$1.apply(IMain.scala:638)
at scala.tools.nsc.interpreter.IMain$WrappedRequest$$anonfun$loadAndRunReq$1.apply(IMain.scala:637)
at scala.reflect.internal.util.ScalaClassLoader$class.asContext(ScalaClassLoader.scala:31)
at scala.reflect.internal.util.AbstractFileClassLoader.asContext(AbstractFileClassLoader.scala:19)
at scala.tools.nsc.interpreter.IMain$WrappedRequest.loadAndRunReq(IMain.scala:637)
at scala.tools.nsc.interpreter.IMain.interpret(IMain.scala:569)
at scala.tools.nsc.interpreter.IMain.interpret(IMain.scala:565)
at com.databricks.backend.daemon.driver.DriverILoop.execute(DriverILoop.scala:199)
at com.databricks.backend.daemon.driver.ScalaDriverLocal$$anonfun$repl$1.apply$mcV$sp(ScalaDriverLocal.scala:189)
at com.databricks.backend.daemon.driver.ScalaDriverLocal$$anonfun$repl$1.apply(ScalaDriverLocal.scala:189)
at com.databricks.backend.daemon.driver.ScalaDriverLocal$$anonfun$repl$1.apply(ScalaDriverLocal.scala:189)
at com.databricks.backend.daemon.driver.DriverLocal$TrapExitInternal$.trapExit(DriverLocal.scala:493)
at com.databricks.backend.daemon.driver.DriverLocal$TrapExit$.apply(DriverLocal.scala:448)
at com.databricks.backend.daemon.driver.ScalaDriverLocal.repl(ScalaDriverLocal.scala:189)
at com.databricks.backend.daemon.driver.DriverLocal$$anonfun$execute$3.apply(DriverLocal.scala:248)
at com.databricks.backend.daemon.driver.DriverLocal$$anonfun$execute$3.apply(DriverLocal.scala:228)
at com.databricks.logging.UsageLogging$$anonfun$withAttributionContext$1.apply(UsageLogging.scala:188)
at scala.util.DynamicVariable.withValue(DynamicVariable.scala:58)
at com.databricks.logging.UsageLogging$class.withAttributionContext(UsageLogging.scala:183)
at com.databricks.backend.daemon.driver.DriverLocal.withAttributionContext(DriverLocal.scala:40)
at com.databricks.logging.UsageLogging$class.withAttributionTags(UsageLogging.scala:221)
at com.databricks.backend.daemon.driver.DriverLocal.withAttributionTags(DriverLocal.scala:40)
at com.databricks.backend.daemon.driver.DriverLocal.execute(DriverLocal.scala:228)
at com.databricks.backend.daemon.driver.DriverWrapper$$anonfun$tryExecutingCommand$2.apply(DriverWrapper.scala:595)
at com.databricks.backend.daemon.driver.DriverWrapper$$anonfun$tryExecutingCommand$2.apply(DriverWrapper.scala:595)
at scala.util.Try$.apply(Try.scala:192)
at com.databricks.backend.daemon.driver.DriverWrapper.tryExecutingCommand(DriverWrapper.scala:590)
at com.databricks.backend.daemon.driver.DriverWrapper.getCommandOutputAndError(DriverWrapper.scala:474)
at com.databricks.backend.daemon.driver.DriverWrapper.executeCommand(DriverWrapper.scala:548)
at com.databricks.backend.daemon.driver.DriverWrapper.runInnerLoop(DriverWrapper.scala:380)
at com.databricks.backend.daemon.driver.DriverWrapper.runInner(DriverWrapper.scala:327)
at com.databricks.backend.daemon.driver.DriverWrapper.run(DriverWrapper.scala:215)
at java.lang.Thread.run(Thread.java:748)

Thanks,
Sarvesh


#2

Is that the complete code? Cause you seem to have a top-level method (toDoubleOrNeg) and also a main method, which is kind of strange.
Does it make a difference if you try running it without the REPL or spark-shell?


#3

The stack trace suggests this has been run from the Scala shell.