『贴代码』
项目介绍
项目精选
优选问答
【本期话题】更多
三人寄语更多
抛开需求谈架构是无意义的事情!
点赞:0
测试没问题的不一定没问题,测试有问题的那肯定有问题!
点赞:2
逻辑注解清晰的代码优于那些一眼看不明白的语法糖
点赞:0
谋而后动,往往会让你对自己的代码更具信心!
点赞:1
在循环里面慎重的使用await!
点赞:0
你连F12都不关注,你好意思说你是前端?
点赞:0
对于答案来说,更重要的是找到答案的这个过程而不是答案本身!
点赞:0
往往会为了一个项目,搭建适合他专属的脚手架!
点赞:1
没有最好的语言,只有更合适的语言!
点赞:0
能通过内网IP访问的,尽量不要使用域名访问!
点赞:1
PasteSpider更新摘要,持续更新
尘埃 2024-11-01 2450 151 0
作为开发者的部署工具,PasteSpider没有严格的更新周期,一来还有其他项目要开发,二来不能为了更新而更新,这有违我的开发初心,在有新的问题反馈,或者是发现了新的问题后一般会及时更新! 至于大家关心的windows版本,我将用直播的方式来记录开发过程

更多PasteSpider的操作介绍,请前往 PasteSpider操作文档


图片alt

25.05

1.可用内存,之前是使用的free现在修改成avaliable
2.服务器监控中,如果设置为0,则忽略这个监控项
3.读取容器状态的时候,做一些前置的判断,比如名称为空等,防止不必要的命令错误
4.服务中的默认升级,之前数据没有链接,表现形式就是编辑的时候显示一直是✔的,实际就不一定了,然后是列表中不显示这项
5.表单中,输入框的"显示有问题的问题,其实是PasteForm的模板代码的转义的问题!
6.审计日志全新改版,完成自定义重新设计,以便支持更加丰富的查询,比如精确到某一个字段的变更记录!
7.审计日志支持更加丰富的查询,比如地址,IP,数据表,模块,函数等
8.审计日志支持更多数据库了,目前和主数据库一致支持mysql pgsql sqlite sqlserver

25.04

本次更新主要是引入新的数据库的支持,然后是某些版本升级到NET8.0,本次主要是修复V5版本(上一次发布)的一些问题,一起来看看有哪些升级

组件升级

1.除了Linux.systemd的还是NET6.0,其他的比如容器模式,或者windows.service的PasteSpider升级为NET8.0!
2.**注意 注意 注意 如果之前是以容器形式运行PasteSpider的,当前版本的监听不再是80端口,比如之前的 -p 8900:80 现在要改成 -p 8900:8080 **

新数据库支持

1.当前版本起支持mysql(mariadb)、sqlserver,postgresql,sqlite等数据库
2.注意查看appsettings.json的配置,每个数据库的链接字符串是放不一样的地方的

镜像版本

1.后续镜像配置月份版本,最新是:latest,如果你要拉取PasteSpider的2025-04的版本,则为:202504,如果发布多次,会有202504{01/02/03}以此类推
    目前有的版本为
    registry.cn-heyuan.aliyuncs.com/apeart/pastespider:202503
    registry.cn-heyuan.aliyuncs.com/apeart/pastespider:latest
    当前这个版本升级,应该是registry.cn-heyuan.aliyuncs.com/apeart/pastespider:202504
2.所以本次发布后,镜像版本应该是registry.cn-heyuan.aliyuncs.com/apeart/pastespider:202504当然了如果你直接拉取latest也会是这个版本,latest随着时间升级了

项目网关

1.之前读取网关是直连读取的,在集群部署中会有问题,目前修改成远程读取
2.由于发送给节点,由master兜底,引发了新的问题,后面修改了集群组件的规则

集群组件

1.调整规则,发送给节点的信息,之前没找到节点由Master兜底,新的规则为默认不兜底,除非指定master可以兜底

管理端

1.首页的右侧添加当前版本,点击版本号可以查看版本更新内容
2.同步页面逻辑添加,样式稍微修改了下,同步后,重新读取服务器的服务信息,这样不会出现上传后还是空白
3.更新到最新的pasteform框架,引入了新的分页控件!!!

1.版本回滚,统一迁移到了【我的服务】-【镜像】找到对应的版本,点击后面的回滚
2.点击回滚,默认打开的是服务绑定页面,选择要回滚的分布(回滚哪些服务器,回滚多少容器)可以直接勾选,和填写!
3.服务绑定,如果当前没有的,可以自己添加一个菜单,路径是pasteform/index.html?path=bindModelLinux
4.服务版本是新做的,后续可能会替换【综合管理】因为他支持批量操作,是PasteForm的Table.Edit的一个案例用法!
5.修改镜像版本回收规则,新的规则是回收目标删除版本之下的最多5个版本,理论上只会删除一个!

执行文件

1.修改windows的.bat文件,减少不必要的打印,现在以Windows.Service的方式启动或者删除PasteSpider控制台的信息将简洁明了了!
2.win.service.start.bat启动失败后,将删除当前服务,这样不影响下次启动

模板

模板主要是针对一些配置的,比如IIS站点,IIS程序池,Linux.systemd文件等,里面主要会涉及到宏等
1.添加一些查询项

状态

1.修复之前服务器不读取服务容器的状态的问题,其实就是服务器本身不读状态,不代表不读取他的服务站点等的状态

容器

1.修复容器运行版本和标注版本不一致的问题!

任务

1.修复之前容器服务查看状态,只支持docker/podman的问题,新的支持iis/win.service/linux.systemd等,也就是全部支持
2.自行添加的服务也支持查看状态,同步状态(linux.systemd),容器的话是使用服务器的同步容器
3.任务列表添加更多查询,子任务添加时间等维度的查询
4.拉取文件这个任务,添加更多的子任务,比如下载,解压等
5.修复之前的灰度发布,也就是升级的数量小于当前运行量的情况
6.添加规则,运行的目标从版本降序,也就是如果多次灰度,那么就是那一小撮一直升级,符合业务印象
7.docker build的路径错误问题,应该是执行服务器的路径符号,而不是创建的,因为可能是远程创建的任务,其实就是路径/和\的问题
8.docker_rmi_auto删除旧版本的镜像,当前是使用多版本模式,至多5个,会删除目标版本之下的至多5个,当前有在使用的不会删除

权限

1.编辑的时候无法查看父级权限的信息的问题,只显示ID,目前可以显示对应的权限名称了,这里的权限包含菜单等
2.权限的备份和恢复,之前附带了ID,新的去除了这个约束,防止冲突,恢复后角色的权限要重新设定!
3.如果角色为admin或者root的时候表示有超级权限,无论这个角色是否勾选了这个权限,也就是角色admin/root可以不需要勾选权限

接口

1.重新检查接口权限,发现遗漏了一处授权校验
2./api/spider/Open/keyval接口变更,新增stoken用于校验信息是否来自系统授权,token规则添加,支持裸token或者oauth模式!

节点

1.节点支持添加,删除,编辑等,编辑主要是针对描述
2.节点信息变动后,会基于状态进行入集群还是离开集群
3.当服务器没有节点维护的时候,这个留给下一个版本来做吧!
4.添加节点,校验节点地址的格式,只是简单校验

25.03.31

1.全局错误监听,发生异常的时候推送给对应的webhook,不仅仅包含api的错误!
2.RouteFileRemove 没有执行,只有写入 远程任务,目前变更为nginx_delete_conf已经修复!
3.修复文件夹符号/或者\的问题,这个一般是跟随服务器的,只是有些命令是跟随当前环境的,所以之前的全部跟随系统会有问题的!
4.4的问题,删除后是否要执行nginx -t && nginx -s reload ???

25.03.29

1.一键升级,在部署页面提交后不会自动关闭页面的BUG,其实是里面的一个单词写错了!
2.全局错误监听,发生异常的时候推送给对应的webhook,不仅仅包含api的错误!
3.检查关于权限的问题,之前升级权限这一块有些地方给注释了,这里的权限指某些环境或者服务的 而不是登陆没登陆的!
4.x.RouteFileRemove 没有执行,只有写入 远程任务
5.远端任务的返回格式问题的修复,就是应该200返回的变成630返回了,后端数据判断的问题!

25.03.22

1.重新改版授权的UI,综合在一起,由提交后校验,环境支持多选,授权模式单选!从账号列表入,省略选择账号的问题
2.调整首页的界面,动态渲染图表,最多5个,移除文件夹占用的信息读取,这个很花时间!
3.首页的右侧的信息改成磁贴模式,添加服务器的其他信息显示,比如内存,网络入出等,同时做友好显示!添加文档链接,专题链接!
4.改版pasteform的方式,主要是为了防止套娃模式,所以所有打开都从顶级层开始!
5.修复上次升级的,直接目录的问题!
6.首页读取报表的请求改成get方式!
7.发布页面重新改版样式,当前的很多不需要了,比如服务器列表,仓库列表!
1.PasteSpiderFile支持直接配置过滤项,其实就是快捷转到配置过滤的页面!
2.修复文件同步,版本拉取的条件判断的问题!

25.03.16

1.如果容器状态没有获取到,或者获取失败了,不能以运行为0来计算,还是要以0为计算??? 这里有一个扩容的问题!
2.非linux中文件夹占用,默认使用publish source static rundir

25.02.01.01

如果说之前的版本为V2(docker/podman),则这个版本可以称为V5(podman/docker/windows.service/linux.service/windows.iis)!

新版本V5内容

1.同步容器的时候,更新所属项目,服务等信息!
2.修复容器的重启,停止,删除的逻辑,改成任务模式,兼顾系统内的站点容器和系统外的!
3.运行容器的名称调整,全部规则为model.code_service.id_app.id_project.id_model.id
4.?持续时间是否分开配置
5.自定义更新IIS内容,动态表单!!!
6.支持静态化的函数静态化
7.全局的Log的改版,之前的引入没必要
8.重新划分warning和error的范畴,默认正常执行的走information
9.关于windows.server的配置和启动.bat的处理
10.手动停止站点的话,状态啥时候同步到容器列表中!
11.采用新的文档机制!PasteDocument,后续文档统一迁入
12.如果是以systemctl的方式运行在linux上,容器使用podman/docker
13.在windows上有2种方式,pastespider与服务或者程序方式运行,而容器可以是iis也可以是docker/podman
14.修复任务异常的时候,可能导致状态没变更的BUG
15.重新修改权限列表模块,使用json导入模式,之前是代码模式,便于后续的初始化和调整 data/roles.json backup/roles.json 参考案例项目的实现
16.项目网关,添加校验,IIS不支持这个东西!后续的Linux的SYSTEMD也将不支持这个模式
17.小时的线程数不统计的BUG

1.容器站点的报表数据是否添加其他的,比如秒链接,秒读取,链接数等,也就是docker和非docker有些数据不一样
2.是否考虑支持systemd的模式部署!
3.iis部署的日志读取! systemd的使用journalctl查看
4.服务是否添加程序名称 可以用于配置systemd的模式等,或者是iis,可以考虑放于参数一

1.如果是systemd和service的模式,是否创建默认服务器! 如果是集群呢??? 应该是单例模式的时候
2.服务监听,服务器监听,内存 CPU 线程 持续时间各自配置!

1.win.service.start.bat linux.run.sh
2.注意linux中需要配置权限,可执行权限!

1.服务监听,更新读取的状态信息不同步的问题

1.种子数据,是否支持导入,导出,恢复默认?目前的思路在table页面,添加按钮,导入,导出,恢复默认 需要root权限
2.iis的镜像也给入库,这样可以执行删除等操作!
3.返回虚拟内存大小的报表,是否开放开关,最小内存是否包含虚拟内存

1.roles.json(roles)
2.dynamic.json(tables+fields)

1.systemd模式 添加执行文件名 和服务名 用于停止和启动服务 查看日志等!
2.cluster节点信息是否添加表,是否支持动态编辑,比如修改一些参数等,对应映射到appsettings.json中

1.PasteWebServer中需要一个入口,用于初始化一些数据,比如证书等!!! 已经归纳到HandlerModule了!
2.添加对systemd的支持!!! 引入了新的字段,服务名称(这个应该是动态的) 程序名称(执行程序的名称)

1.修改Cluster的消息机制,主要是PasteSpider内部的消息流转,添加linux_id cluster_name作为目标节点信息
2.添加远端任务模式,任何地方发起任务,通过Cluster中转到目标服务器执行任务,执行完成后通过WebSocket下发
3.至于一般的任务,由Plan创建任务后,发往任务中心,任务中心下发到对应的节点执行任务!
4.修复服务-服务器-运行限定默认配置的时候最大数量为1最小数量为3的问题!

1.?.文件同步的问题,多个服务器之间的文件同步(文件差异化?压缩差异文件,下载文件包,校验文件包,是否重试!重试限定次数!)
2.文件同步后,添加一个任务,检查是否需要同步给其他服务器
    a.主服务端检测其他服务器哪些要同步,然后创建各自的任务(让目标服务器执行) 附带了服务,版本号
    b.子服务端附带当前的publish的文件列表到服务端请求,或者差异文件(文件夹忽略,文件忽略等要附带进去),主服务端会基于这个差异创建压缩包,并建立文件信息等,标记1个小时后删除
    c.子服务端根据返回的进行,执行压缩包下载
    d.压缩后,检查文件码等是否符合,完成任务!! 如果不符合,则删除本地文件,重新执行下载(计数 重试次数为3) 获得任务结果!

1.修复之前多服务器模式,升级的时候全部全量升级的问题
2.添加默认升级项,也就是服务的环境绑定服务器的那边
3.启用直连服务器的功能,也就是上传文件其实是上传到直连服务器,然后再通过分发,分发给需要的服务器,包括构建版本等!
4.修复win.service有时候报表获取失败的问题
5.添加对app的定义分类,比如容器,站点,服务等

1.修复扩容,缩减的任务逻辑,目前的写法是单服务器的限定,由于执行都是按照服务器执行的,所以缩减等都是按照服务器划分!
2.修复单个服务多个容器或者站点等运行的时候报表数据错误叠加的问题!
3.容器名称规则重新调整{model.code}_{service.id}_{app.id}_{project.id}_{model.id}_{pro.code}_{ser.code} 添加后面2个项,便于识别,前面的数字是代码里面要用的!!!

1.//回滚版本有问题 /api/spider/manage/ServiceUpdate?serviceid=1&modelid=1&version=1027

1.???构建镜像 1029 升级1029 容器列表是1028???
2.镜像旧版本的删除,需要读取镜像列表!
3.?镜像重复创建的问题

1.容器站点 添加 当前内存 当前CPU的记录 用于列表的时候直接显示!!! 还是使用扩展的模式,使用缓存模式!

1.svn/git 拉取代码后的升级,同步Linux的配置! 支持不同服务器 不同环境 升级数量等配置!
2.?关于IIS的 多app 多虚拟目录的 列表显示 添加 删除等操作!!! 类似绑定!
3.自定义添加服务,比如windows.service 和linux.service 一般用于运行数据报表展示等!

1.只有系统初始化的时候读取证书列表,后续加入的如何重新读取???按钮触发还是??? form表单中加一个重载的按钮!
2.服务-综合管理 新增或者修改的时候,有一个默认switch,就是构建升级的时候是否升级(当前服务,某一台服务器上的某一个环境)
3.改进的自定义容器(服务/站点)的数据报表,使用名称和路径双限定

1.版本同步的时候,如果服务器的状态是fasle,则不需要这个任务!
2.集群的时候,显示节点列表 

1.升级过程中执行了扩容... .. .. !!! 升级任务添加一个标记,任务类型.linux.service.modelid 任务完成后清理! 如果在排队呢?? 扩容前先要进行判断任务是否存在
2.docker_run之前要在检查一下服务器资源,是否执行清理这个动作!
3.服务综合管理-数量限定还是有问题,1-3??应该是3-1 应该是哪个代码写错了!还是web缓存的问题?
4.undoplan,podmanrestart 有问题,需要把任务分配到对应的节点和服务器上,而不是主节点执行!
5.节点列表,节点更新的问题,目前只处理了节点新增,在新增后,应该要同步给数据库,这样当前节点只要配置自己的信息即可!
6.查找自己节点的逻辑要重写,先给自己定一个随机数,然后去遍历节点,找随机数,一致的表示找到了,然后赋值给更多的信息,比如节点名称等!!!

1.通知的队列要独立出来,不需要和主任务混一起,直接跑一个本地队列执行这个任务即可!
2.主页得数据预览,由于采用异步方式,所以请求后需要有一个loading的动效
3.登陆页面的窗口,使用js动态计算位置,显示更加合适的位置
4.service.limit没有同步给其他服务器,这个问题要修复下,修复内部的部分代码错误的问题
5.serive.monitor linux.monitor 可能对应的servie.isenable linux.isenable 补上这个的问题
6.podman docker 在windows上的模式,这个待测试!!! 没机器测试...
7.!!!进一步检查linux.tool的判断,估计很多地方漏了,总共是v5个版本

1.windows上的docker测试通过! 不过私有仓库还没有测试,这个有空搞下!
2.之前的配置registry-mirrors没有附带端口!!!,修复这个问题!
3.在windows中的registry,有个问题,重启的问题!!!

1.仓库,私有仓库,不再是服务配置,应该是否服务器,表示这个服务器的所有服务都是使用仓库模式!!!
2.涉及多方面的内容,比如构建镜像,升级等... .. . 大改!!!

1.私有仓库绑定服务器后,isenable没有设置为true的问题
2.添加isready可以为手动模式,这样应对手动绑定的情况
3.构建镜像的时候,如果有仓库,是否需要上传一个去?还是按需? 按需是比较合理的,因为升级的时候的版本是基于情况获取的,而不是笼统的获取最新的版本

1.关于一份代码如果部署在docker/systemd等的情况如何处理! 这个和代码有关,如果是独立运行和平台运行的时候冲突,那是不行的!比如运行是否需要dotnet 要么都不要 要么都要,这样就可以多模式运行
2.修复部分前端页面还在用服务器list接口的问题,全部改成page了

1.关于网站绑定https的情况,目前待定,因为涉及到证书选择等情况,估计还要开外表!这个问题已经修改成啥时候更新证书列表,因为要读取证书列表!!!
2.pasteform是否和dynamicform一样支持多层级???info__name 这样的情况,目前的考虑是使用query的方式动态的支持!
3.单台服务器,如果有多个模式要使用,可以创建多个服务器,然后配置服务器不读取状态(保留一个)这样就不浪费资源可以实现多个模式了,比如docker,systemd,至多支持3个模式iis/winservice/docker

1.git/svn中,可以不用仓库id,因为不是这个控制的!!!,由对应的service和linux来决定!
2.禁用cluster的审计日志,这个日志没必要保存,因为太多了!集群节点的一些信息交互!

1.修复podman创建仓库失败的问题,之前的测试有点叠加了,导致有些问题没发现!
2.还有没测试的就是unbuntu的docker/podman了
3.测试一个系统多个仓库的情况!主要情况还是在于服务器和仓库的配置,绑定是为了login而已
4.注意配置文件的groupname currentname我被这个问题整灵异了,后面才反应过来,估计后面会把这2个配置给合并掉!!!应该是在spider端写入到cluster,这样保持cluster的独立性!
5.无法查看推送通知详细的问题!
6.搞一个备份 项目->服务 ? 项目服务器 服务。服务器。。。感觉好乱!!! 完全的备份不太能行,估计得半支持!就是导出后手动按需录入???
7.搞一个容器服务站点的最后状态 列表的时候显示 比如cpu 占用内存 目前考虑使用hashtable field:appinfo.id:memory/cpu value

25.03.12 live

-1.在服务器列表显示最近的CPU 内存使用
-2.在容器(站点列表)显示最近的CPU和内存使用
-3.容器列表的表格说明有问题,目前是默认值
-4.正在进行的服务,改成git动图,有一个正在处理的gif图
-5.关于1/2的数据冗余的处理问题hashset 的field的删除
-6.appsettings.json中的groupname和currentname重复设置的问题,要进行合并!
7.hidden添加隐藏模式,select view short 添加short模式,更简短的列表显示,由Dto的特性决定(示例,查看某一个节点服务的服务器列表)
8.提交页面(构建页面)服务器,仓库,环境快速选择?
9.svn/git的测试
√10.定时任务的测试
?11.重新载入证书列表 Windows.IIS(这里整个结构有问题,如果有多台windos,api是无法直接访问的,得通过集群分发任务,需要用异步得方式)
-12.首页中,不读取报表的服务器不显示(这种一般是单服务器为了多模式而创建的)
-13.测试反馈定时任务未执行??? V2是可以执行的
14.异步任务操作的,UI中显示动画,不能卡UI了! UI中,读取API得时候显示gif,websocket消息下来后,关闭gif
-15.镜像创建的冗余问题,创建了多个镜像信息,实际才执行一个!

后面就是测试的问题了,下期见!

IIS的有问题,集群的问题,需要大改!!! 简单点就是直接的任务改成异步的,包括获取数据等... .. .
√1.接入pasteform的时候,如果接收异步结果(websocket)和同步结果(目前版本)
√2.异步方式是服务端等待读取,还是客户端接收,双模式?客户端的会好一些,服务端的不好估算时间,可能会无限等待,也就是超时的问题!
    for await read response!

1.windows.service windows.iis的项目服务的最后状态的显示(iis的不做运行校验,因为IIS有个模式不一定要一直运行,这个得改版)
2.iis的运行数量由website校验,而不是运行状态,这个待修改,待开发
3.由于pasteform的套娃机制,即将改版为所有的弹出都基于顶层计算,所以有些地方的页面地址要检查,特别是非pasteform的页面!
4.授权模式有问题,好多地方都漏了,需要检查下 1.重写授权的列表修改 操作方式修改 2.接口检查授权,主要是服务和环境的授权!
5.推送,异常信息的时候,拦截系统的异常通知,异常都通知!之前异常是通过_channel来执行! 这个拦截如何防止死循环?

1.docker在windwos的证书存放位置 c\programdata\docker\certs.d c\programdata\dockerdesktop\certs.d 还在在c\users\xxx\.docker\certs.d\???
2.如果是用户的话需要添加一个字段 用于存放用户名!
3.任务planitem添加一个StopTaskWhenSuccess 当前子任务执行成功后,终止整个任务!

24.12.21.01

1.修复权限无法更新的BUG
2.调整UI部分,适配新版本的PasteForm
3.添加或者说修改在线文档,就是点击字段的?可以快速访问字段说明那个
4.添加对虚拟缓存的支持,就是计算可用内存,剩余内存等会统计Swap的信息
5.如无重大BUG,当前版本将保持不再更新,下一个版本将兼容windows的iis!!!

24.10.15.01

1.修复项目服务新增的时候无法选择静态类型的问题,其实可以先选择其他的,然后再修改!
2.服务-同步过滤-新增,服务无法自动选定的问题,其实就是新增当前服务的同步过滤配置
3.服务-构建镜像,参数错误的问题,代码复制的时候重命名的问题
4.服务器-同步容器(把这个服务器在运行的容器同步到系统中),执行的时候没有标注操作者的问题
5.?待检查,估计是限定信息没有推送给监控端?新创建的服务,不会自动启动容器,还是做了限定? 那旧的会不会保持运行数量的限制?
6.?待实现?扩容的时候,没有清理服务器缓存,是否清理应该由服务的配置决定!
7.服务新建,监听端口默认80,也就是容器内监听的端口,一般是80,比如php是9000,phpthink是8000,redis是6379

24.09.22.01

1.修复podman的服务器重启后容器不会重启的问题!注意要为spider配置重启,原理是使用spider去重启其他服务,spider的依赖服务需要先重启,比如数据库,redis等
2.添加对仓库,路由等的服务器分布的支持
3.去除IP,全部采用项目IP
4.修改部分UI中的显示!进一步完善pasteform的使用

24.09.15.01

1.重新开发后台管理端,采用PasteTemplate的最新的PasteForm模式开发
2.?项目网关是否绑定环境,就是不同项目的环境采用不一样的网关地址
3.添加动态菜单,左侧的菜单将使用接口模式,由接口控制!
4.?key-val的数据,返回的时候使用***去敏感,然后弄一个新的接口来读取
5.修复推送的配置,all和其他混合的时候不生效的问题,貌似这个也不是问题,配置了|all|,其他的就可以不用配置了,!
6.服务监控和服务器监控添加状态,禁用的将不再执行!
7.修复之前版本中的,日志数据库结构同步在后面的问题,导致升级失败的问题!

24.08.24.01

1.服务环境服务器运行数量的修改,减少最大运行数量的时候的错误问题!修复只能增大不能减少的问题!
2.查看审计日志,信息排序基于时间,之前是乱的!
3.api/spider/Open/keyval的实现
4.服务监听中关于持续时间的设定,触发后,在持续时间后,写入一个定时任务,如果那个点还是满足监听触发,则执行对应的事件,比如重启,扩容!

24.08.17.01

1.服务器的内存达到预警后,是否执行清理服务器缓存的命令,直接执行清理1模式 echo 1 > /proc/sys/vm/drop_caches
2.添加对github gitee gitlab的CI/CD的支持,其他的将在后续升级
3.修复之前部分接口对于被禁用的对象的问题,比如linux被禁用了,其他地方还查询到!
4.修复集群中交互数据的异常问题(集群部署一直没怎么用,可能会有其他问题)
5.修复被禁用后,还会同步文件的问题
6.在上传到OSS中,为了防止上传OSS失败,所以是先存储到.backup/version文件夹的,所以需要手动再一次传入到工作目录

24.08.10.01

1.服务器的状态,添加对查询的支持,镜像,容器,状态 等!
2.服务自定义版本信息!及对应的更新!需要支持PasteSpiderFile的编辑!
3.容器管理为podman的时候,在首次链接成功后,会检查对应服务器的重启状态,如果重启时间差大于5秒,则执行重启容器(对比容器列表执行)

24.08.03.01

1.手动版本号?手动修改,不参与代码,主要用于多个服务器要更新的时候,保持版本使用! 32位数
2.是否支持多服务器同步升级,一键同步升级多个服务器!
3.是否添加长连接的支持 考虑引入SignalR的支持,那样的话nginx要对应变更!主动通知任务的动态等!任务开始 任务结束 等!
4.修复类似dev_3_99_1_f70db3fa96054153a010a的命名,由于版本问题导致的读取appid失败的问题,从而导致读取日维度的报表失败的问题!
5.添加PasteCluster集群组件,修复没有注册的时候,返回非Master的问题,其实这个可以由调用方自己判断,这个改版是后续可以中途加入一个集群,而不用重新发布
6.排序字段要显示出来配置了,在podman系统中,如果重启后,系统是基于sort进行项目重启的!顺带检查重启后podman的是否有执行这个任务
7.新增长连接的支持,那么对应的nginx的配置需要更新,需要提供对应的nginx的配置!

24.07.27.01

1.警告信息中添加对应的服务器信息,否则有多个的时候,不知道是哪个的警告!内存 CPU等均适用!
2.datalist的缓存删除问题,上一个版本忘记修改了!
3.防止latest版本占位问题,历史版本也显示出来 应该是文字引导? 其实只要命令存在,可以全部删除,重新拉区!
4.一些webhook的推送信息中附加服务器或者服务的信息,防止不知道是哪台服务器的警告!
5.-e RunConfig:Model 和 -e RunConfig:Address 一个表示当前环境的代码 一个表示当前容器的IP(需要使用项目网关模式)
6.dto中的svn/git中前置命令长短限制的问题
7.测试svn提交的问题post-commit,使用post表单的形式提交,请查看文档!
8.添加对服务器缓存的清理的支持

24.07.20.01

1.关于如果是使用项目网关的模式,是否附带环境变量CurrentIp表示当然容器被分配的IP是多少,这个对于容器来说有很重要的作用!
2.权限列表页面的样式错位问题!
3.基于变更思想,滚动升级的思路,其实应该是第一个批次就一个容器升级,比如你要修改一些综合信息的时候,如果一开始启动就好多个容器,有可能他们内部还要打架一会,所以后续集群升级等第一个包改成单个,后面的基于数量拆分计算!
4.关于页面中datalist的数据源缓存的清理的问题,比如新增了对应的对象,则需要清除对应的!更新和新增都需要主动清除!
5.使用命令查看硬盘情况 df -h |grep -E /dev/[a-z]{3}[0-9]{1,3}
6.使用命令查看工作目录中的各文件夹的硬盘占用du -h --max-depth=1 {work_dir}
7.首页修改成综合信息,显示/api/spider/manage/readTotal!
8.对应的返回某一台服务器的统计信息
9.修复部分服务器由于返回的内存使用情况格式问题引起的内存数据读取失败的问题
10.重新修改数据看板,使用图形模式显示服务器的综合数据,内存占用,硬盘占用等!
11.如果本地已经存在一个latest了,那么拉取的时候???

24.07.13.01

1.?是否使用websocket链接signalr ? 可以用于状态的直接反馈,命令sh的交互?
2.日数据,然后做日任务网格图!
3.日数据的统计,见projectmodel/DailyReport.cs的说明,先埋数据
4.提供一个接口,返回当前服务器的配置,比如数据库类型 日志等级 当前版本 等!
5.无数据的统一返回 701--> 204 提示为630 
6.接口有附加数据如何返回???

24.07.07.01

1.修复之前私有仓库不能用的BUG,应该是之前测试,然后混淆了,注释了不该注释的东西
2.启用新的镜像拉取方式,后续将推送到阿里云,后续更新讲直接使用公开的仓库了
3.私有仓库添加对多端口的支持,更加细化,添加配置文件的支持,在<workdir>/registry/config/confiy.yml中,可以修改这个文件的内容,然后重新docker restart <your_registry_container_name>
4.可以重新修改仓库的状态,这样可以再次创建,注意创建的时候,前置的东西要清理,比如私有仓库的在运行容器,占用端口等!/api/spider/storeInfo/id/changeState?ready=false
5.Dockerfile中去除不需要的操作,比如不需要使用.sh执行docker login了!
6.命令详细修改成view而不是form
7.菜单更换统一的图标!
8.镜像显示默认可用的,而不是全部
9.!定时任务添加删除等操作按钮
10.审计日志,添加查看详细!是否添加对应的userid的查询等!目前是半个密钥的形式!
11.修复为账号授权多环境权限的时候,其他环境也会受影响的BUG!
12.修复由于本地镜像没有ImageDigest的值,导致的批量删除的问题!
13.修复新版的服务管理界面中的构建并升级的传参错误的问题!

24.7.1.1

1.配置服务器的时候,是否使用命令读取系统版本 https://blog.csdn.net/showgea/article/details/82745107
2.关于安装命令的确定 yum apk apt-get ?
3.关于ubuntu的软件源加入 和读取私有仓库的镜像???

24.6.29.1

1.修复Web中为账号分配服务器提示错误
2.部分checkbox修改为switch样式
3.处于选择模式的时候,只显示可用的状态的对象,比如服务器列表,服务列表,仓库列表等
4.是否引入 引导模式创建项目!!!
5.加入审计日志,记录重要修改即可!审计日志是存储在读取的sqlite数据库的,可以通过/api/spider/Log/xxx进行日志的读取,基于文件考虑只存储了post相关的日志
6.关于发布的时候的数量的问题,也就是灰色发布,然后是二次灰度的时候的选择!版本高的继续灰度???
7.环境列表页面重做,很多布局有问题,操作也有问题,如果没有私有仓库,可以直接在列表执行操作,然后+灰度运行量!
8.基于5,添加对日志资源回收的配置!

24.6.22.1

1.appinfo的复用,比如之前有8个运行,后面缩减到4个,那么有4个的状态就是删除的,下一次扩容的时候,可以把这4个拿来用,从而复用IP等信息
2.扩容和缩减的提示,输入框等!
3.删除容器的时候,对应的报表数据是否删除?还是等超时后删除???
4.容器的删除,重启,停止,合并系统和非系统的容器操作,划定对应的权限等!
5.为部分操作设定特定的权限,如果没有权限的会有对应的提示,最高账号可以添加权限,然后分配权限,用于更加细度的拆分权限控制!
6.修复直接查看容器的时候的restart stop rm的命令的执行,兼容系统容器和非系统容器
7.PasteSpiderFile对比文件前,是否可以执行一个自定义的命令,比如复制文件!实现文件同步的本地化命令步骤等,目前只支持windows
8.在扩容,伸缩,更新的操作上还有问题!入口太隐藏了!!!需要映射出服务那边去!
9.是否可以简化操作,比如选择服务器,如果只有一台... 直接在UI上进行选定,直接执行下一步骤!
10.重新发布的提醒!

24.6.14.1

1.如果构建过程中失败了,需要能够执行删除,而不是1小时,可以使用2次操作删除这个操作!
2.升级之前,检查是否有不正常的容器状态,需要停止删除他们
3.如果有-v 是否执行 mkdir -p 用于创建对应的文件夹!
4.添加对APP的停止的这个动作!重启!
5.修改删除规则,采用3秒内删除2次才会删除!

24.6.10.1

1.添加一个接口,检查密钥是否可用,这样PC端的切换站点就不需要再次登陆了!
2.校验一些输入的检验,添加400的检查等!
3.关于服务器的内存警告的问题,使用量保持,启用剩余内存的警告!
4.修复通知的|all|配置不生效的问题
5.集群组件从原来的内置修改成引用PasteCluster集群组件!

24.6.8.1

1.服务添加一个属性,注意PasteSpider的网络配置要和容器一致,否则接入不了,用于启动后把信息推送给容器的,这个有可能容器没启动完整!!!
2.命令占位符添加{{App.ProAddress}},用于替换容器的项目IP地址,也就是项目需要配置网关(网关的IP地址是先计算出来的(所以在容器启动前就知道这个容器的IP了),而非网关的IP是由docker分配的,所以要启动后才知道)
3.项目网关分派IP,之前是最后一位,实际是最后2位数,也就是从254容量到254*254

24.6.7.1

1.上传到OSS需要有一个记录,用于回查
2.列出指定版本的备份文件夹的文件列表
3.构建任务的排重机制有问题,应该是jsonstring的MD5进行排重
4.修复OSS回滚文件夹指定错误的问题!

24.6.5.1

1.当前是哪个版本,最高哪个版本
2.在当前页面创建任务后,提示是否成功!
3.基于服务id读取服务器列表的接口,用于为某一个服务构建的时候,这样可以减少步骤!
4.改进备份文件夹,之前是web web.1001 web.1002这样分布,现在修改成web web.backup/1001 web.backup/1002 这样不会出现太多文件夹,也好屏蔽,因为直接目录的模式下,一般是嵌套入其他项目的目录的
5.修复前端的时间控件时间选择无效的问题,是this的作用域的问题,改版改错误了
6.修复当前版本的问题,服务有三个版本version,fileversion,currentversion(服务当前使用的版本)(感觉多服务的时候有问题,是否需要绑定服务器?)
7.???关于有端口映射的容器,在启动的时候,是否需要检查没有在运行的是否占用了这个端口???

24.6.4.1

1.修复直接目录模式下的版本删除的问题
2.修复之际目录模式下的OSS上传的问题!
3.需要可以指定上传OSS哪个版本的,这个需要客户端去支持!当前版本往前推N个版本,最大5个这样子!
4.修复PasteSpiderFile中,上传到OSS应该更改为临时模式,然后再同步文件!
5.修复暂存文件的问题!
6.关于同步,上传OSS等是否建立日志的问题?
7.静态文件的版本回撤的问题,直接指定版本覆盖过去,需要考虑是否需要同步到其他服务器!
8.静态文件指定版本上传OSS,指定版本回滚
9.工作目录的文件夹占用大家,添加对static文件夹的查询 registry publish static source

24.6.3.1

1.!!!如果只绑定了一个服务器,那么在构建升级的时候,是否可以忽略选择服务器这个过程!!!
2.或者说1步骤的,返回服务器列表只返回有绑定关系的服务器列表,不然就是选择了也无用!
3.修复推送的各项配置问题,all的代码将不再适用,需要的话就需要勾选对应的!
4.!!!表单输入的?项介绍,这个是个长期的工作内容,或者说大量的工作内容,简单点就是介绍每一个项的说明!!!##**长期任务**##
5.关于读取容器日志指定行日志的问题! podman logs -t --since="2024-05-16T03:00:00" --tail=10 postgres 读取指定时间后的多少行日志!

24.6.2.1

1.阿里云盘账号配置!
2.ServiceInfo+ OssId 有配置表示更新的时候要更新对应的云文件!
3.修复之前由于规则调整不会推送通知的Bug?
4.推送通知中添加任务名称的显示

24.6.1.1

1.vue转云的支持?
    a.所在路径比如https://www.bbc.file.com/mobile/
    b.需要替换的字眼,比如/vue_production/
2.PasteSpiderFile的文件,导出差异化的文件列表!可以用于其他作用!也就是本地文件保存!
3.上传到阿里云,是否本地化实现?
4.PasteSpiderFile的程序自动升级的问题,后续再考虑,主要是内容也不少,由于安全等问题,服务端还得做下载,大概思路是有文件过滤,然后是2边的文件版本对比,然后执行差量更新!还得有版本差异说明综合,比如现在差3个版本了,那么更新是一次,说明是列表!

24.5.31.1

1.关于项目的其他配置项没有显示的问题,比如排序值
2.关于服务的其他配置项,比如健康检查(启动后,用这个检查是否启动成功),排序等
3.关于修改的时候,不让修改的项,比如code!
4.是否启用删除!物理删除这个功能,需要查询多表,进行删除!
5.没有在运行容器,当执行升级任务的时候,是否至少启动一个容器?(基于服务-环境-服务器的运行限定,如果有设定最少运行1个那就至少会启动一个)
6.还是想把外表去掉的,有些地方不太合适,虽然简单易用
1.有一个新的思路,是否启用静态文件的云化,比如vue

24.5.29.1

1.服务-环境列表-居然没显示环境??? 
2.读取PasteSpider的日志文件,读取文件的内容 支持分页读取
3.读取版本更新内容,版本更新的内容使用倒叙模式 readme/update.md
4.服务的环境列表中关于分布的开关样式改成switch
nginx的名称变更的时候咋办??? 手动去删除还是自动删除?

24.5.28.1

1.谁创建的任务!PlanInfo + UserId
2.读取路由信息的时候,没有返回环境信息的BUG
3.任务信息,返回user信息,作为创建者信息!
4.静态同步的时候,添加一个任务,表示谁上传的!

24.5.24.1

1.镜像列表,返回这个镜像代表的服务有多少个环境,比如这个服务只开通了测试环境,那么这里就只返回测试,用于回滚的时候选择回滚哪个环境!
2.在服务容器运行数量监听的时候,基于项目的sort排序,然后再基于服务的排序,这样可以让运行数量不足的按照排序执行启动!
3.任务是谁创建的???

24.5.22.1

1.修复多服务器文件同步的问题,wget的url要用引号
2.修复service的directpath的使用和限定问题
3.修复创建任务的默认状态的问题,只有待执行的,任务打入到队列才会去执行
4.修复服务为静态类的无法创建绑定服务器的问题(文件同步,就是需要把服务绑定到服务器去!)

24.5.20.1

1.静态文件的同步问题,同步到不同服务器!
2.读取待同步文件列表 fullpath reativepath from_linux_id to_linux_id
3.使用子服务器从主服务器下载的方式??? wget ? 使用 -O的方式下载!
4.linux1 /spider/static/project/service/xxx/xxx.html serviceid  tolinuxid downinfo!
5.service(static) 绑定的服务器,是否是当前spider绑定的宿主,如果不是,则需要推送下载的任务! 问题在于如何保证同步完成???
6.使用spider作为桥接,执行wget的下载,最后经过md5校验 和总数校验,是否成功!
7.是否使用创建任务的方式,使用子任务的形式执行下载任务!
8.路径使用占位符的模式{{workdir}} / {{directpath}} 等方式
9.Spider访问地址,可以是局域网也可以是外网的形式,主要用于同步静态文件!
10./api/spider/direct serviceid linuxid md5 planid planitemid等
11.wget 下载的路径写入到commmand中?fullpath(/index.html /app/abc.txt) md5() 只需要写入 下载哪个文件即可? 使用md5sum 检查问价的md5 对比是否正确!
12.暂存的处理 和定时任务暂存的处理 处理下载的问题!
13.创建服务的时候 需要绑定服务器!!! 静态的时候!
14.bindModelLinux 监听数量的时候 如果是静态的 不能包裹进去了!
15.镜像状态设置为isenable=false;构建镜像后,删除后,设置镜像不可用!

24.5.17.1

1.创建路由文件的时候,必须指定服务器,表示挂载在哪个服务器上
2.如果服务类型为静态的,且设置了直接目录,在升级文件后不会删除旧版本文件的问题,体现在文件夹.xxxx版本上
3.如果往文件夹/spider/direct/spider/.文件夹写入文件会跑到哪里去? 修复这个问题!
4.开放接口 读取项目的路由信息 /api/spider/open/ReadRoute
5.获取项目基础信息等 

24.5.16.1

1.修复页面/page/codeproject/view.html的提交问题,带入了非法的config配置模块
2.giv/svn中关于接收到webhook后构建命令的model判断的问题!
3.部分页面 page==1的时候没有清空下面的分页控件!!!
4.添加安全校验,-e KeepConfig:UserToken=111222333444555666 的校验,这个密钥作为token的密文,也作为集群部署的密钥,必须要更改!后续的接口信息获取等都基于这个
5.首页添加版本号,添加专题地址
6.删除镜像的问题,本地非仓库的时候执行删除代码

24.5.13.1

1.key-value中的modelcode的问题,没有做新旧兼容!
2.nginxroute的默认返回的问题,如果没有app或者Model,只要服务有配置,也是需要返回一个upstream的
3.容器列表信息返回不全的问题
4.key-value返回信息不全的问题
5.修复planinfo-planitem的列表查看和任务详细无法查看的问题!

24.5.12.1

1.前端的搜索searcharea中,添加对应的dataprojectid dataserviceid datamodelid等,用于针对项目 服务 环境等的检索
2.输入框中用xxxx:xxxxx的形式显示,前面表示ID,后面表示名称
3.使用sessionstroge的方式,会话缓存对象,利于网络使用率的提升!
4.关于编辑模式中,也采用这种方式
5.统一后端关于projectid serviceid modelid的搜索合并!关键在于字段名称 然后是时间区间的查询!
6.从form中读取的时候,校验对应的类型回正轨!
7.去除外表的设定!!!
8./page的接口实现,用于?_apiquery使用
9.统一的接口,用于实现datalist数据源! orderbydesc isenable 可用的排在前面 其实模型继承于基础表是更合适的!name code id isenable (linux store project service model nginx)
10.ConcurrencyStamp base
11.修正私有仓库的目录没有指定到工作目录下的问题!工作目录默认为宿主的/spider/文件夹,系统将会在这个文件夹下存放代码,私有仓库,证书等!
1.定时任务的任务串
    a.tasktimeplan + father_id
    b.planinfo + timeplan_id
    c.tick_evented 仅仅读取father_id==0的tasktimeplan!
    d.任务完成后,如果有timeplan_id 则尝试获取他的子集!
    e.创建任务的时候,时间或者父级二选一!也可以都不选表示立马执行!
2.针对定时任务,如何处理前端这种非编译的!!!
    a.为这种的建立一个缓存文件夹timetemp 写入前执行清空操作!
    b.存入缓存文件
    c.任务从缓存文件夹拉取文件覆盖到指定文件夹
    d.完成任务!
3.关于回撤版本这事,前端的回撤版本
    a.如果服务类型为静态的,则先创建一个对应版本的文件夹
    b.文件写入到版本文件夹
    c.全部上载完成后,把整个文件夹覆盖到目标
    d.兼容模式,上传的时候,直接写入主文件夹和对应版本文件夹!!! 如果特殊配置,则不写入主文件夹,只写入备份文件夹??? 执行的时候直接把fileversion的文件写入到主文件夹???
4.服务器的监听 添加对硬盘容量的监听/dev/vda1:32G;/dev/sdb1:16G;表示对应的硬盘占用大于这个数据的时候提示警告!
5.定时任务,从系统中获取容器状态的任务,可以自定义时间间隔,在启动的时候设定-e KeepConfig:CollectTaskSecond=300 即可表示300s执行一次
6.版本号将写入到appsetting.json中了,你也可以在启动后通过 docker logs xxx 查看当前运行的版本,至于前端需要在后台管理端的首页上方查看

24.5.4.1

1.服务的多级支持监测
2.通知按照不同维度拆分,可以为服务器,项目,服务,系统!
3.修复每次都偶要读取监听配置的BUG!做缓存处理!
4.服务器监测调整,可用内存 占用内存 总内存 缓存内存 虚拟内存!
5.修复关于触发警告的条件,如果是CPU有持续时间的说法,如果是内存则触发就通知,然后是下一次通知!
6.关于持续时间这个问题!!! 由于首次也是轮询获得,所以后面收尾也是等轮询
7.配置中添加版本号显示,添加轮询的频率控制(s)
8.修复一些ServiceId的外键问题,改用OutServiceId等,尽量后续不再使用外表这个机制!
1.MonitorLinux + FreeMemory 表示可用内存 低于这个则触发警报! 
2.是否添加流量暴增的预警?
3.是否添加对硬盘剩余量的监测,由于硬盘爆满产生的事故可不少! 注意硬盘可能有多个!!!
4.df -h 说明:Linux系统的分区格式使用的是xyzN的格式,
xy表示的是硬盘类型,如上面的执行结果,sd/vd表示是SCSI硬盘,z表示的是硬盘序号,
第一块硬盘是a,第二块硬盘是b,
所以要查询Linux系统上有几块硬盘,只要注意这一点即可。N表示的是分区号。
/dev/sdxx(物理硬盘?)
/dev/vdxx(虚拟硬盘?)

更多更新内容看相关文章介绍

评论列表
尘埃
151 2450 0
快捷注册
热门推荐更多
PasteSpider
;
最新动态
  • 200.****.29 正在查看 PasteTimer软件介绍 !
  • 200.****.29 正在查看 PasteTimer软件介绍 !
  • 89.****.78 正在查看 PasteSpider测试环境之为centos7中的ssh启用证书登陆模式 !
  • 89.****.78 正在查看 PasteSpider测试环境之为centos7中的ssh启用证书登陆模式 !
  • 175.****.10 正在查看 PasteForm框架介绍,PasteForm为啥说是敏佳开发天花板,看这篇就够了 !
  • 175.****.10 正在查看 PasteForm框架介绍,PasteForm为啥说是敏佳开发天花板,看这篇就够了 !
  • 180.****.103 正在查看 PasteForm(ABP)框架之实现更加灵活的类似多租户的归属过滤功能,比如只能查看自己的相关数据 !
  • 69.****.12 正在查看 PasteSpider更新摘要 !
  • 69.****.12 正在查看 PasteSpider更新摘要 !
  • 31.****.55 正在查看 PasteSpider的测试环境之在Docker中安装centos7并设定SSH的密码 !
  • 31.****.55 正在查看 PasteSpider的测试环境之在Docker中安装centos7并设定SSH的密码 !
欢迎加入QQ讨论群 296245685 [PasteSpider]介绍 [PasteForm]介绍 @2022-2023 PasteCode.cn 版权所有 ICP证 闽ICP备2021013869号-2