区块链技术博客
www.b2bchain.cn

Cython:无效使用融合类型,类型不能专门化 – python程序员分享

本文介绍了Cython:无效使用融合类型,类型不能专门化 – python程序员分享,有助于帮助完成毕业设计以及求职,是一篇很好的资料。

对技术面试,学习经验等有一些体会,在此分享。

我有以下MCVE:

import numpy as np  cimport numpy as np cimport cython  from cython cimport floating   def func1(floating[:] X_data, floating alpha):     if floating is double:         dtype = np.float64     else:         dtype = np.float32      cdef floating[:] prios = np.empty(12, dtype=dtype)     cdef int ws_size = 10      C = np.argpartition(np.asarray(prios), ws_size)[:ws_size].astype(np.int32)      cdef int res = func2(X_data, alpha, C)   cpdef int func2(floating[:] X_data, floating alpha, int[:] C):     cdef int epoch = 1     return epoch 

尝试运行cython test_fused.pyx给我:

Error compiling Cython file: ------------------------------------------------------------ ...     cdef floating[:] prios = np.empty(12, dtype=dtype)     cdef int ws_size = 10      C = np.argpartition(np.asarray(prios), ws_size)[:ws_size].astype(np.int32)      cdef int res = func2(X_data, alpha, C)                        ^ ------------------------------------------------------------  test_fused.pyx:21:24: no suitable method found      Error compiling Cython file:     ------------------------------------------------------------     ...         cdef floating[:] prios = np.empty(12, dtype=dtype)         cdef int ws_size = 10          C = np.argpartition(np.asarray(prios), ws_size)[:ws_size].astype(np.int32)          cdef int res = func2(X_data, alpha, C)                            ^     ------------------------------------------------------------      test_fused.pyx:21:24: no suitable method found      Error compiling Cython file:     ------------------------------------------------------------     ...         cdef floating[:] prios = np.empty(12, dtype=dtype)         cdef int ws_size = 10          C = np.argpartition(np.asarray(prios), ws_size)[:ws_size].astype(np.int32)          cdef int res = func2(X_data, alpha, C)                       ^     ------------------------------------------------------------      test_fused.pyx:21:19: Invalid use of fused types, type cannot be specialized      Error compiling Cython file:     ------------------------------------------------------------     ...         cdef floating[:] prios = np.empty(12, dtype=dtype)         cdef int ws_size = 10          C = np.argpartition(np.asarray(prios), ws_size)[:ws_size].astype(np.int32)          cdef int res = func2(X_data, alpha, C)                       ^     ------------------------------------------------------------      test_fused.pyx:21:19: Invalid use of fused types, type cannot be specialized 

我有一个更复杂的代码,该代码还通过了数组C作为运行时定义的值,这没有引起任何问题。此编译错误的原因是什么?

我很困惑,因为稍作修改(在func1上添加了一个伪关键字arg,在func2上添加了两个关键字arg)使代码可以编译:

def func1(floating[:] X_data, floating alpha,           int dummy_variable=1):  # added dummy_variable here      # same as before here      cdef int res = func2(X_data, alpha, C,                        dummy_variable=dummy_variable)   cpdef int func2(floating[:] X_data, floating alpha, int[:] C,      int K=6, int dummy_variable=1):  # added K and dummy variable here      cdef int epoch = 1     return epoch 

参考方案

让我们从一个较小的复制器开始:

%%cython import numpy as np from cython cimport floating  def func1(floating[:] X_data):     C = np.empty(12, dtype=np.int_32)     func2(X_data, C)  cpdef func2(floating[:] X_data, int[:] C):     pass 

它不会编译。

一个重要的发现:func2cpdef,这意味着Cython将其称为func1中的raw-C函数。 Cython将为融合的func2函数生成这两个C签名(一个用于double,一个用于float):

static PyObject *__pyx_fuse_0__pyx_f_4test_func2(__Pyx_memviewslice, __Pyx_memviewslice, int __pyx_skip_dispatch); /*proto*/ static PyObject *__pyx_fuse_1__pyx_f_4test_func2(__Pyx_memviewslice, __Pyx_memviewslice, int __pyx_skip_dispatch); /*proto*/ 

因此,期望C__Pyx_memviewslice,但是只要Cython关心它是PyObject中的func1,那么就无法将函数称为cdef。我不明白的是:Cython为什么不退回python- def版本?

C签名有点误导,并且Cython在编译期间进行了更多类型检查,因此将C定义为

cdef float[:] C 

因为即使C在这种情况下也是__Pyx_memviewslice,它也没有正确的类型,并且只有

cdef int[:] C 

会工作。

如果func2被定义为

cpdef func2(floating[:] X_data, C): 

相应的两个C签名是

static PyObject *__pyx_fuse_0__pyx_f_4test_func2(__Pyx_memviewslice, PyObject *, int __pyx_skip_dispatch); /*proto*/ static PyObject *__pyx_fuse_1__pyx_f_4test_func2(__Pyx_memviewslice, PyObject *, int __pyx_skip_dispatch); /*proto*/ 

因此可以将C(即PyObject)传递给这些函数。

因此,有两种方法可以解决编译问题:

cdef int[:] C中使用func1,或
int[:] C放在func2的签名中

那么为什么要添加一个虚拟参数,即

%%cython -a import numpy as np from cython cimport floating  def func1(floating[:] X_data, int dummy_variable=1):     C = np.empty(12, dtype=np.int_32)     func2(X_data, C, dummy_variable=dummy_variable)  cpdef func2(floating[:] X_data, int[:] C, int k=6, dummy_variable = 1):     pass 

作品?

实际上,还有第三种方法来编译代码:通过使func2为仅python的def函数。在这种情况下,C的类型在编译期间不起作用,将在运行时进行检查。

问题是:对于您的伪变量,Cython决定将func2作为Python函数而不是C函数进行调用,因此类型不匹配不起作用。

通过检查带注释的html文件,您可以轻松地看到它。

但是,我不能说,Cython退回Python函数调用的原因是您的解决方法。我只能说:不要为k提供值起重要作用。

我有一个Python脚本在某些深度学习模型上运行推理。有什么办法可以找出GPU资源的利用率水平?例如,使用着色器,float16乘法器等。我似乎在网上找不到太多有关这些GPU资源的文档。谢谢! 参考方案 您可以尝试在像Renderdoc这样的GPU分析器中运行pyxthon应用程序。它将分析您的跑步情况。您将能够获得有关已使用资源,已用缓冲区,不同渲染状态上…

也许很难描述我的问题。我正在寻找Python中的算法,以在带有某些文本的白色图像上创建皱纹纸效果。我的第一个尝试是在带有文字的图像上添加一些真实的皱纹纸图像(具有透明度)。看起来不错,但副作用是文本没有真正起皱。所以我正在寻找更好的解决方案,有什么想法吗?谢谢 参考方案 除了使用透明性之外,假设您有两张相同尺寸的图像,一张在皱纹纸上明亮,一张在白色背景上有深…

在Python中,我正在使用uuid4()方法创建唯一的字符集。但是我找不到将其限制为10或8个字符的方法。有什么办法吗?uuid4()ffc69c1b-9d87-4c19-8dac-c09ca857e3fc谢谢。 参考方案 尝试:x = uuid4() str(x)[:8] 输出:"ffc69c1b" Is there a way to…

这是我拍摄的屏幕截图。当我尝试在命令提示符下使用pip时,出现以下错误消息:pip无法识别为内部或外部命令,可操作程序或批处理文件。我已经检查了这个线程:How do I install pip on Windows?我所能找到的就是我必须将"C:PythonXScripts"添加到我的类路径中,其中X代表python版本。如您在我的…

我在Windows上使用Python 3和sqlite3。我正在开发一个使用数据库存储联系人的小型应用程序。我注意到,如果应用程序被强制关闭(通过错误或通过任务管理器结束),则会收到sqlite3错误(sqlite3.OperationalError:数据库已锁定)。我想这是因为在应用程序关闭之前,我没有正确关闭数据库连接。我已经试过了: connectio…

赞(0) 打赏
部分文章转自网络,侵权联系删除b2bchain区块链学习技术社区 » Cython:无效使用融合类型,类型不能专门化 – python程序员分享
分享到: 更多 (0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

b2b链

联系我们联系我们