init code

这个提交包含在:
thinksoso
2023-04-01 17:37:49 +08:00
父节点 bc611611d8
当前提交 1ab34f7075
共有 24 个文件被更改,包括 9631 次插入4 次删除

19
data/tmp.py 普通文件
查看文件

@@ -0,0 +1,19 @@
import json
# 假设数据存储在 data.json 文件中
data = []
with open('llama_data.json', 'r') as f:
lines = f.readlines()
for line in lines:
line = line.strip()
data.append(json.loads(line))
# 遍历每个对象,找到 output 属性不为字符串类型的对象
new_data = []
for obj in data:
if isinstance(obj['output'], str):
new_data.append(obj)
with open("llama_data_1.json","w") as f:
for n in new_data:
f.write(json.dumps(n,ensure_ascii=False))
f.write("\n")