Farz edelim ki bir sparkdatafaremimiz var ve data kolonumuz tamamen jason formatında ve bu kolonda priceın içindeki amountu süzeceğiz. data kolonu aşağıdaki şekilde olsun örnek olarak ""price"": {""amount"": 900, ""currency"": ""TRY""},""status"": {""id"": 1, ""label"": ""Active""} Sparkdataframe'ine yeniden kolon olarak ekleyeceğiz.

In [ ]:
import json
from pyspark.sql import types as t 
def newCols (x):
    x=json.loads(x)
    if 'price' in x:
        return x['price']['amount']
    else:
        return ''
callnewudf=f.udf(newCols,t.StringType())
df=df.withColumn("amount",callnewudf(f.col('data')))  

Yukarıdaki fonksiyon amount adında bir kolon getirecek ve altınada 900 TL yazdırackatır.